当时众寡悬殊，源赖朝在敌军拥有数倍优势的情况下被打败，逃入箱根山。据说他在山中潜藏时，已被敌军发现，但敌将娓原景时有意将他放走。
赖朝辗转逃到安房，在那里筹谋再起。他先后亲赴下总、上总和武藏等地，得到各地武士团的支持，兵力急速增长，几乎接管了关东地区所有的武士团。于是，他在10月率军进入故地镰仓，以此为根据地重建了源氏势力。
石桥山之战以后，平清盛得悉源赖朝在镰仓扩展势力，立即召令东海、东山两道的武士团火速进行征讨。征讨军于9 月底从京都出发。此时，赖朝获得不少援军，声势大振，便于10月16日率大军20万自镰仓出发，决心迎击平氏的追讨军。 10月下旬，双方在富士川发生会战，平氏军队被打败。在此战过程中，赖朝获得甲斐国源氏、武田信义、安田义空，特别是其胞弟从奥州率兵增援和汇合，发展成了强大势力。
富士川之战产生了重大影响。此后，全国各地反对平氏的势力蜂起。平清盛年老，在败势面前忧郁成疾，于1181年2 月死去。当初应以仁王令旨举兵的关东武士源义仲，趁机于1183年5月夺得了京都，但他专横跋扈，很快激起了公卿和民众的反感。正与平氏军周旋的源赖朝，接到后白河法皇的密旨，命他筹谋将源义仲铲除。赖朝受命后，即派源范赖、源义经率军向京都进击，并于1184年1 月在宇治川和近江粟津击败源义仲，随后进入京都。紧接着，源范赖、源义经率军迎击试图反扑的平氏大军，于2月7日发生了有名的一谷之战，平家军大败。 从此，无论在政治上还是军事上，源赖朝都占有压倒平氏的优势。一谷之战后，平家军退守其根据地屋岛，实际上只能控制獭户内海，求得暂时自保。由于海军力量薄弱，源赖朝不得不花费半年多时间准备渡海作战。其间，不少地方武士势力前来献兵献粮和兵船等等。
1185年2 月和3 月，双方接连发生屋岛之战和坛浦之战，平家军彻底失败。平氏一门将领，或自杀，或被俘，终于遭受了灭顶之灾。
