李惟杨故居坐落在阳春市岗美镇隆岗村，距离城南约20公里，从春江公路边的村口新牌楼出发，映入眼帘的是一个高大的牌楼，上面刻有对联：“隆中论文可安邦，仰我先贤重青史；冈前演武能定国，看吾后秀著华章。”这是由李孟昱书写的上联，李希亮题写的下联。沿着水泥村道前行900米，故居便展现在眼前，它由祖居、崧台李公祠和荣禄大夫擎柱李公祠构成，坐落在民居之间，环境幽静，西南方有一池塘，四周绿树环绕。
据村民介绍，故居的祖屋原本是泥砖土房，但在清咸丰至同治年间因“客土械斗”受损，后来虽重建但仍保持原貌。为了纪念李惟杨的功绩，他的后人在此附近建造了李氏公祠，即崧台李公祠，于清乾隆二十一年（1756）建成。祠堂坐东北向西南，为三间两进的砖木瓦硬山顶式建筑，大门朝西，是拱楼结构，顶部镶嵌有“干城”题额，象征卫国之城。拱楼内侧顶部有“武弁”字样，显得庄重典雅。祠堂东边有一个圆孔门，前厅门额上悬挂石匾，上书“崧台李公祠”和李惟杨肖像，字体为佛青楷书。门前一对联“簪缨绳祖武，忠孝作孙谋”曾是木质，后改为泥塑。
前厅经过1991年的重修，地面改为了浅红水泥，方格状设计。内墙青砖清洁如新，前厅中央有木屏风，刻有“钦点”、“榜眼及第”以及“康熙壬辰科，臣李惟扬立”字样。天井铺着青砖，后座正厅两侧嵌有对联，描绘了李惟杨的英勇与家族的繁荣。尽头的案台上立着神祇牌，墙上挂着李惟杨与其夫人的画像，后檐处摆放着用于练武的重石，每座分别重达400斤和300斤，令人赞叹不已。