在嘉靖四年，公元1525年，巡按御史王秀在巡视楚地时，途径郢州(今钟祥)，并入襄考察。他在公务之余，不忘探访鹿门山、习家池，瞻仰堕泪碑，并造访隆中山。在郑杰这位时任吏部主事的襄阳人家中，王秀与他讨论了当地的杰出人物，特别是对庞公的崇敬之情溢于言表。王秀感叹：“虽然众多贤者值得敬仰，但祭祀之事，庞公尤为重要。”郑杰回应道，孔明和羊祜的祠庙已有修缮，而庞统的新祠尚待建设，庞公的祠宇显得孤独而被遗忘，这让他深感遗憾。
王秀听后，立即决定要解决这个问题，他宣布：“此事我来负责。”随后，他征询襄阳知府徐咸的意见，认为庞公的高尚品质无人能及，询问是否能在鹿门山设立一个共享的祠堂，以纪念这些高洁的人。徐咸回应，唐代的孟浩然和皮日休同样高洁，他们可以作为庞公的配享者。两人意见一致，王秀当即题写祠堂额曰“三高祠”，并指示副使台负责规划和筹措资金，一切所需资金都来源于公帑。六月开始商议，七月动工，八月就已竣工。从此，庞公祠被更名为“三高祠”，并成为后人崇敬的圣地，庞公的精神得以永续流传。
三高祠，是为纪念曾隐居在鹿门山的庞德公、孟浩然、皮日休等三位名人所建，在湖北省襄阳市东南的鹿门风景名胜区内。