当时众寡悬殊,源赖朝在敌军拥有数倍优势的情况下被打败,逃入箱根山。据说他在山中潜藏时,已被敌军发现,但敌将娓原景时有意将他放走。
赖朝辗转逃到安房,在那里筹谋再起。他先后亲赴下总、上总和武藏等地,得到各地武士团的支持,兵力急速增长,几乎接管了关东地区所有的武士团。于是,他在10月率军进入故地镰仓,以此为根据地重建了源氏势力。
石桥山之战以后,平清盛得悉源赖朝在镰仓扩展势力,立即召令东海、东山两道的武士团火速进行征讨。征讨军于9 月底从京都出发。此时,赖朝获得不少援军,声势大振,便于10月16日率大军20万自镰仓出发,决心迎击平氏的追讨军。 10月下旬,双方在富士川发生会战,平氏军队被打败。在此战过程中,赖朝获得甲斐国源氏、武田信义、安田义空,特别是其胞弟从奥州率兵增援和汇合,发展成了强大势力。
富士川之战产生了重大影响。此后,全国各地反对平氏的势力蜂起。平清盛年老,在败势面前忧郁成疾,于1181年2 月死去。当初应以仁王令旨举兵的关东武士源义仲,趁机于1183年5月夺得了京都,但他专横跋扈,很快激起了公卿和民众的反感。正与平氏军周旋的源赖朝,接到后白河法皇的密旨,命他筹谋将源义仲铲除。赖朝受命后,即派源范赖、源义经率军向京都进击,并于1184年1 月在宇治川和近江粟津击败源义仲,随后进入京都。紧接着,源范赖、源义经率军迎击试图反扑的平氏大军,于2月7日发生了有名的一谷之战,平家军大败。 从此,无论在政治上还是军事上,源赖朝都占有压倒平氏的优势。一谷之战后,平家军退守其根据地屋岛,实际上只能控制獭户内海,求得暂时自保。由于海军力量薄弱,源赖朝不得不花费半年多时间准备渡海作战。其间,不少地方武士势力前来献兵献粮和兵船等等。
1185年2 月和3 月,双方接连发生屋岛之战和坛浦之战,平家军彻底失败。平氏一门将领,或自杀,或被俘,终于遭受了灭顶之灾。