霍元甲一共有两个儿子，霍东章和霍东阁。霍元甲一共有7个孙子，目前健在有两位，其中一位即霍寿金，还有一位在印度尼西亚。霍元甲还有3个女儿，3个女儿有将近10个属于霍元甲的外孙子女。
继霍元甲之后，霍家后代中公认的传奇人物便是霍东阁。在他的管理下，精武会发展壮大得很快，先是在上海成立了三个分会，之后又在汉口、广东、香港等地建立分会。1919年，25岁的霍东阁来到广州。
据霍自正回忆，霍东阁在广州海军总部任教时，当时控制整个广州的军阀陈炯明对他极为器重。但让霍东阁没有想到的是，到了最后，陈炯明背叛孙中山，官兵集体发动叛乱，这让霍东阁心里极为后悔，于是想离开广州，到南洋去闯荡闯荡。
霍自正回忆说：“爷爷的第一任妻子不愿意和他去南洋受苦，觉得跟着爷爷在广州语言不通，习惯不同，已经吃尽了苦头，要去那么远的南洋，她怎么也不愿意了。所以要留在天津。爷爷到印尼后，1935年娶了第二任妻子叶玉梅，她是当地的华侨。”
霍元甲的早年经历：
霍元甲幼年体弱，父亲霍恩第不让他习武，担心元甲习武日后有损霍家名声，拒不授艺于他。但元甲志存高远，偷艺于父传兄弟之机。苦练于舍外枣林之僻。后为父知，受责。
元甲保证绝不与人比武，不辱霍家门面，方准父兄一起习武。元甲天资聪颖，毅力惊人，功艺长足进步，在兄弟之中出类超群，并在24岁那年5分钟之内击败了一位打败了霍元甲的哥哥与弟弟的人。父见此，一改旧念，悉心传艺于他。霍元甲以武会友，融合各家之长，将祖传“秘宗拳”发展为“迷踪艺”，使祖传拳艺达到了新的高峰。
1890年秋天，霍元甲打败了一个找上门来比武的武师，有了“武艺高强”的名声。之后，由于喜欢行侠仗义，霍元甲逐渐在天津一带有了名气。霍元甲在脚行（恶霸剥削搬运工的组织）做过管事，后来又到天津城北门外怀庆药店打工。在药店干活期间，他能挑动千斤药材，力推两个大青石碌碡，人们送给他一个绰号：“霍大力士”。
在怀庆药店打工时，霍元甲结识了药店掌柜农劲荪。农劲荪曾留学日本，知识渊博，他常给霍元甲讲一些中外故事，使之大开眼界，明白了不少道理。