岳飞16岁的时候与刘氏成婚，生下了长子岳云和次子岳雷。后来岳飞从军，随宋军抵抗金国，便托付刘氏照顾自己的母亲，可是刘氏却两次改嫁，最后嫁给了韩世忠军队中一个押运粮草的士兵。韩世忠后来让岳飞回去把刘氏接回去，可是岳飞只派人送去了五百钱，并没有将刘氏接回去。
后来，岳飞四处征战，在战乱中认识了李娃，两人产生了感情，最后结婚。岳飞从不纳妾，只是与李娃相守，两人的感情很好，生下了三子岳霖、四子岳震和五子岳霆。岳飞还有两个女儿岳安娘和岳银瓶，但不知其为刘氏还是李氏当中的谁所生。
长子岳云及其后人
岳云很小的时候就跟随岳飞四处征战，颇有战功，是中国历史上著名的“少年将军”。岳云与其父岳飞于1142年除夕夜一起被害，死时年仅23岁。
岳云死前娶妻巩氏，育有二子一女，长子岳甫在岳飞被平反昭雪之后，被朝廷授予官职，最后做到了吏部尚书的高官。而次子岳申和小女儿岳大娘的生平史书并无记载。
但是岳云这一脉开枝散叶很快，在今天的安徽省合肥市居住着近万名岳云的直系后裔，分布在合肥的三个区县。
次子岳雷及其后人
岳雷小时候曾今因为战乱失散，后来被找回，岳飞被陷害入狱的时候，岳雷只有16岁。岳雷十分孝顺，自愿投入狱中照顾岳飞。岳飞死后，岳雷和他的母亲一起被发配到云南。
大约在岳飞被平冤昭雪的前不久，岳雷带着老婆温氏从云南回到今湖南长沙居住。岳飞被平冤昭雪之后，岳雷被朝廷封为阁门祗侯，忠义郎，后来又被改封为武义郎，翰林院大学士。
岳雷回到长沙的时候，已经有了两个女儿岳二娘和岳三娘，四个儿子，长子岳经、次子岳纬、三子岳纲和四字岳纪（经纬、纲纪）。可见岳雷一家虽然遭到的朝廷不公平的待遇，但是从他孩子的名字上来看，他还是把国家放在第一位的。
岳雷的子孙几经变迁，现主要分布在河南省鹤壁市和安阳市，河北省邯郸市，山东省聊城市，部分分布在云贵等地，其直系子孙大约有数千人。
三子岳霖及其后人
岳飞遇害的时候，岳霖只有12岁，等到岳飞平冤昭雪的时候，他已经32岁了。
岳霖后来被朝廷封为右承事郎，又授南赣都督，在宜兴食邑。都督一级的官已经相当不错了，而且还有食邑。岳霖娶妻陈氏，育有二子，长子岳琛和次子岳珂，一个女儿岳璎。
岳霖后来在朝为官，担任过一些小官；岳珂比较有出息，他不仅考上了 进士，还成为一个文学家和历史学家。他曾今和父亲岳霖一起广泛收集岳飞的事迹，编成了一本书《鄂国金佗稡编》及其续篇。不仅如此，岳珂还历任嘉兴军府、浙西财赋，还被封为通城开国伯的爵位。
岳霖的直系后人当中比较出名的是清朝的四川都督、三等威信公岳钟琪，但是岳霖的其他后裔分布在哪里，历史记载不详。
四子岳震、五子岳霆及其后人
岳飞遇害的时候，岳震只有7岁。当时岳震和弟弟岳霆居住在江西庐江下沙河，在听到岳飞遇害的消息后，便于弟弟一起改姓鄂，潜逃到黄梅县大河之滨，后来又迁到聂家大湾居住。直到岳飞被平冤昭雪之后，岳震和弟弟岳霆这才表明身份，岳震被朝廷封为朝请大夫，后来又被封为缉忠侯。而岳霆
岳震娶妻周氏，育有六子，分别是岳瓒（念一）、岳琬（三）、岳玭（念四）、琚（念六）、岳踌（念七）、岳璇（念九）；而岳霆则娶妻刘氏，育有三子，分别是岳蹯（念二）、岳与（念五）、岳琨（念八）。那么这几个孩子加起来就是一二三四五六七八九，至于为何这样取名，我们不得而知，但是很有意思。
现如今在湖北麻城、陕西、江西、四川等地均有岳震和岳霆直系子孙分布。