岳飞一生中共有过两任妻子，育有五个儿子和两个女儿，这七个子女的命运却也是各不相同。
前妻 刘氏，岳飞16岁时与刘氏成婚，生云、雷二子。飞从军抗金，让刘氏照顾母亲，她却“两经更嫁”。刘氏后嫁与韩世忠军中一个低级军官。
后妻 李氏，字孝娥，与岳飞在战乱中相识，岳飞从不纳妾，与李氏感情和睦，生有霖、震、霭（霆）三子。岳飞遇害后，李氏随家眷流放岭南，仍坚持将儿孙抚养成人。冤狱昭雪后，李氏和三个儿子北归，终年75岁，葬于江州。
长子岳云，字应祥，号会卿，刘氏生。他12岁即从张宪军，随父亲征战四方，身先士卒，屡建奇功，历任武翼郎、左武大夫、忠州防御使等职。后和父亲一同被诬入狱，与父亲岳飞、将领张宪同时被害，时年23岁。绍兴三十二年（1162年），宋孝宗赵昚为岳飞父子平反昭雪后，赠安远军承宣使。
次子岳雷，字发祥，号夏卿，又号声甫，刘氏生，宋靖康元年(1126年)3月，生于山西平定县军中，后因战乱失散，直到建炎三年（1129年）寻回。岳飞在狱中时，岳雷曾被派去照料其父。岳飞遇难后，16岁的岳雷随同母亲李氏被发配流放岭南。宋孝宗赵昚为岳飞父子平反昭雪后，岳雷全家从岭南归来潭州居住，封忠训郎，阁门祗侯，翰林院学士。卒于嘉定三年（1210年）8月，寿年78岁，妻温氏，有四子二女。
三子岳霖，字及时，号商卿，母李氏。岳飞遇害时，霖年仅12岁，后同家人一起被流放。绍兴三十二年（1162年），宋孝宗赵昚为岳飞父子平反昭雪后，于次年加封三十多岁的岳霖为右承事郎，后又授南赣都督，食邑宜兴。后官至朝请大夫、敷文阁侍制，兵部侍郎，广东经略安抚使，赠太中大夫。岳霖卒于绍熙三年(1192年）十月，寿年六十二岁，育有两子一女。景定二年(1261年）岳霖被追封为缵忠侯。
四子岳震，字东卿，母李氏。父兄蒙冤遇害，震方7岁，随母流放。岳飞冤案昭雪后，岳震历任朝请大夫，提举江南东路常平茶盐公事，户部度制司郎中，江东提举等职，宋宁宗赠保义郎，宋理宗景定二年（1261年）加封缉忠侯。育有六子。
五子岳霆，母李氏，字应时，号君锡。父兄遇害时才3岁，随母流放，宋孝宗为岳父子平反昭雪后，岳霆官授朝散大夫，宋宁宗赠修武郎、阁门祗侯。宋理宗景定二年（1261年），追封为续忠侯。育有三子。
长女岳安娘，河南相州汤阴县人，其夫高祚于1163年（隆兴元年）特补承信郎，后事不详。
次女岳银瓶，一说其本名为岳孝娥，相传是南宋名将岳飞的女儿，但其名不见于《宋史》，故其人物是否存在一直存疑。《说岳全传》提及岳飞次女闻父兄冤死，欲为他们鸣冤不果，抱银瓶投井而死，终年13岁。除《说岳全传》外，其事迹在南宋词人周密《癸辛杂识》和清代以来的杭州地方志均有记载。