在平治之乱过后20年的时间里，平氏家族的首领平清盛在日本朝野的地位是平步青云。当时，后白河上皇需要借助平清盛及其背后的武士集团的力量，以此来维持他对二条天皇的控制。而平清盛有了后白河上皇的支持后，先后担任参议、右卫门督、兵部卿，最终位居太政大臣。他的弟弟平赖盛成为后白河上皇的大臣，儿子平重盛成为京都的军事指挥官。二条天皇22岁时因急病逝世，平清盛安排了一场联姻，把女儿平德子嫁给二条天皇的继承者，其同父异母的弟弟高仓天皇。在平氏家族的控制下，公卿逐一没落。
后白河上皇增强平氏家族势力的计划开展得过于顺利，直至1179年，后白河法皇（1169年出家的后白河上皇）。他为了阻止平氏家族继续扩张的野心，强力介入平清盛的事务，没收了平清盛强占的土地，并将其还给藤原家族和源氏家族。
做完这一切后，后白河法皇认为铲除平氏家族的时机已经成熟了，但事实证明他想错了。平清盛武士集团的势力依然远超其他人；平清盛率领成千上万效忠于平氏家族的武士进入京都，幽禁了后白河法皇，次年又逼迫年轻的高仓天皇禅位于其幼子，即平清盛的外孙安德天皇。
此时的平清盛位于权力的巅峰。他是天皇的外祖父，且控制了法皇，成为日本实际的统治者。为了坐上这个位置，他用了20多年的时间。但他仅仅享受了不到一年，就突染热病，于1181年3月去世。
随着平清盛的死去，反抗平氏家族的浪潮也越来越激烈。
发起反抗的人就是平治之乱的一个幸存者：源赖朝，就是被斩首的源义朝的儿子。平治之乱时，源赖朝12岁，凯旋的平清盛没有将他处死，而是将其流放。这一仁慈之举成了策略上的失误。父亲去世后，源赖朝一直生活在南方名为伊豆诸岛的火山群岛上，后又去了东海岸。东海岸原本是源氏家族的领地，所以他在抵达之后能够召集自愿追随他的人。一系列胜多败少的小规模战役之后，他的军队力量渐强，最后他得以在镰仓这个沿海城市站稳脚跟。
与此同时，平清盛的儿子平宗盛在京都召集平氏家族的追随者。但是之后的14个月里，天气恶劣，旱涝交替导致食物匮乏，瘟疫横行，双方交战不得不推迟。源义仲是源赖朝的堂弟，比源赖朝小7岁，原本也打算骤然举兵，也因此而推迟。源义仲既有野心，又有作战经验，于1155年丧父。同与堂兄并肩作战相比，他更倾向于自立门户。他占领了西部城市信浓，不久之后就聚集了比源赖朝麾下更多的兵力。
平宗盛决心率先对付他最大的敌人。不过平宗盛矛头并未直指源赖朝。据史书记载，1183年，他派10万大军进攻源义仲。
平宗盛根本就没有军事天赋，支撑他必胜的信念就是以多打少，不过可惜的是，他麾下的人大多都是被强征入伍的乡野村夫。当平家军靠近源义仲阵营时，源氏的武士们故意以合乎古礼的传统对决方式应战，拖延时间至夜幕降临。天一黑，源义仲就下令放出一群犄角上绑着松枝火把的公牛冲入敌阵。惊慌之中，缺乏作战经验的平氏京都军溃逃至附近狭窄的俱利伽罗峠（qiǎ，中国古字，日本的和制汉字）断崖，他们已穷途末路，之后惨遭屠杀。听闻平家军战败，安德天皇和他的平氏亲信逃离京都。源义仲一路挺进，占领京都，受到了法皇的迎接。老奸巨猾的后白河法皇转而表态将支持源氏家族。
平氏家族在俱利伽罗峠之战中遭到重挫，其家族势力在此后的两年中迅速衰落。以京都为中心，源义仲开始竭尽所能追杀剿灭平氏家族余党。1180年至1185年，在源平合战的这5年间，平氏家族的势力几乎被源氏家族歼灭。
1185年4月25日，平氏舰队连同平清盛的外孙、7岁的安德天皇和天皇的外祖母、平清盛的遗孀被困于坛浦海峡。他们的船被源赖朝一个兄弟指挥的源氏舰队击毁。眼看敌人临近，天皇的外祖母抱着天皇纵身跳海。其朝臣及战败的平氏武士们纷纷效仿，由于盔甲沉重，他们一齐沉入了海底。
平宗盛继俱利伽罗峠之战失利之后，再没有什么作为。他拒绝跳海，一名下属对平氏领袖懦弱的表现备感羞愤，于是推其入海。但他深谙水性，后被源氏家族的船救起，成为战俘。几天后，平宗盛在由镰仓送往京都的途中被斩首。
平氏舰队全军覆没，日本平氏家族就这样退出了历史舞台。源赖朝称霸日本，并把他的堂弟源义仲赶出京都，自请就任右近卫大将，这意味着他控制了天皇身边的禁军。早在1183年，后白河法皇的另一个孙子，3岁的后鸟羽天皇登基。但源赖朝掌控着日本的武装，一向能在混战中择良木而栖的后白河法皇承认了源赖朝的统治。幼主登基，实权却掌握在其他人手中。这场权力斗争的结局，和其开始时的局面，简直是一样的。
1192年，源赖朝接受幼主授予的“征夷大将军”一职，成为军队总指挥，即日本的最高统帅。统治实权再次转移，由上皇到了武士手中；之后的几个世纪里，幕府将军成为仅次于天皇的日本统治者。