在平治之乱过后20年的时间里,平氏家族的首领平清盛在日本朝野的地位是平步青云。当时,后白河上皇需要借助平清盛及其背后的武士集团的力量,以此来维持他对二条天皇的控制。而平清盛有了后白河上皇的支持后,先后担任参议、右卫门督、兵部卿,最终位居太政大臣。他的弟弟平赖盛成为后白河上皇的大臣,儿子平重盛成为京都的军事指挥官。二条天皇22岁时因急病逝世,平清盛安排了一场联姻,把女儿平德子嫁给二条天皇的继承者,其同父异母的弟弟高仓天皇。在平氏家族的控制下,公卿逐一没落。
后白河上皇增强平氏家族势力的计划开展得过于顺利,直至1179年,后白河法皇(1169年出家的后白河上皇)。他为了阻止平氏家族继续扩张的野心,强力介入平清盛的事务,没收了平清盛强占的土地,并将其还给藤原家族和源氏家族。
做完这一切后,后白河法皇认为铲除平氏家族的时机已经成熟了,但事实证明他想错了。平清盛武士集团的势力依然远超其他人;平清盛率领成千上万效忠于平氏家族的武士进入京都,幽禁了后白河法皇,次年又逼迫年轻的高仓天皇禅位于其幼子,即平清盛的外孙安德天皇。
此时的平清盛位于权力的巅峰。他是天皇的外祖父,且控制了法皇,成为日本实际的统治者。为了坐上这个位置,他用了20多年的时间。但他仅仅享受了不到一年,就突染热病,于1181年3月去世。
随着平清盛的死去,反抗平氏家族的浪潮也越来越激烈。
发起反抗的人就是平治之乱的一个幸存者:源赖朝,就是被斩首的源义朝的儿子。平治之乱时,源赖朝12岁,凯旋的平清盛没有将他处死,而是将其流放。这一仁慈之举成了策略上的失误。父亲去世后,源赖朝一直生活在南方名为伊豆诸岛的火山群岛上,后又去了东海岸。东海岸原本是源氏家族的领地,所以他在抵达之后能够召集自愿追随他的人。一系列胜多败少的小规模战役之后,他的军队力量渐强,最后他得以在镰仓这个沿海城市站稳脚跟。
与此同时,平清盛的儿子平宗盛在京都召集平氏家族的追随者。但是之后的14个月里,天气恶劣,旱涝交替导致食物匮乏,瘟疫横行,双方交战不得不推迟。源义仲是源赖朝的堂弟,比源赖朝小7岁,原本也打算骤然举兵,也因此而推迟。源义仲既有野心,又有作战经验,于1155年丧父。同与堂兄并肩作战相比,他更倾向于自立门户。他占领了西部城市信浓,不久之后就聚集了比源赖朝麾下更多的兵力。
平宗盛决心率先对付他最大的敌人。不过平宗盛矛头并未直指源赖朝。据史书记载,1183年,他派10万大军进攻源义仲。
平宗盛根本就没有军事天赋,支撑他必胜的信念就是以多打少,不过可惜的是,他麾下的人大多都是被强征入伍的乡野村夫。当平家军靠近源义仲阵营时,源氏的武士们故意以合乎古礼的传统对决方式应战,拖延时间至夜幕降临。天一黑,源义仲就下令放出一群犄角上绑着松枝火把的公牛冲入敌阵。惊慌之中,缺乏作战经验的平氏京都军溃逃至附近狭窄的俱利伽罗峠(qiǎ,中国古字,日本的和制汉字)断崖,他们已穷途末路,之后惨遭屠杀。听闻平家军战败,安德天皇和他的平氏亲信逃离京都。源义仲一路挺进,占领京都,受到了法皇的迎接。老奸巨猾的后白河法皇转而表态将支持源氏家族。
平氏家族在俱利伽罗峠之战中遭到重挫,其家族势力在此后的两年中迅速衰落。以京都为中心,源义仲开始竭尽所能追杀剿灭平氏家族余党。1180年至1185年,在源平合战的这5年间,平氏家族的势力几乎被源氏家族歼灭。
1185年4月25日,平氏舰队连同平清盛的外孙、7岁的安德天皇和天皇的外祖母、平清盛的遗孀被困于坛浦海峡。他们的船被源赖朝一个兄弟指挥的源氏舰队击毁。眼看敌人临近,天皇的外祖母抱着天皇纵身跳海。其朝臣及战败的平氏武士们纷纷效仿,由于盔甲沉重,他们一齐沉入了海底。
平宗盛继俱利伽罗峠之战失利之后,再没有什么作为。他拒绝跳海,一名下属对平氏领袖懦弱的表现备感羞愤,于是推其入海。但他深谙水性,后被源氏家族的船救起,成为战俘。几天后,平宗盛在由镰仓送往京都的途中被斩首。
平氏舰队全军覆没,日本平氏家族就这样退出了历史舞台。源赖朝称霸日本,并把他的堂弟源义仲赶出京都,自请就任右近卫大将,这意味着他控制了天皇身边的禁军。早在1183年,后白河法皇的另一个孙子,3岁的后鸟羽天皇登基。但源赖朝掌控着日本的武装,一向能在混战中择良木而栖的后白河法皇承认了源赖朝的统治。幼主登基,实权却掌握在其他人手中。这场权力斗争的结局,和其开始时的局面,简直是一样的。
1192年,源赖朝接受幼主授予的“征夷大将军”一职,成为军队总指挥,即日本的最高统帅。统治实权再次转移,由上皇到了武士手中;之后的几个世纪里,幕府将军成为仅次于天皇的日本统治者。