据传泰山成为岳父的代名词，最早是出自唐朝著名乐师黄旛绰之口。
黄旛绰，又名黄幡绰，他最大的成就是参与编纂了代表盛唐气象的《霓裳羽衣曲》，宋代陕西同州的《霓裳羽衣曲》石刻，记录的正是以他为主创作的《霓裳羽衣曲》。黄旛绰这个人非常幽默风趣，因此深得唐玄宗李隆基的欢心，他由此也成了李隆基身边的红人，后来李隆基到了一日不见黄旛绰就不开心的地步。
黄旛绰受到李隆基的宠幸，而他对李隆基也十分关心，李隆基对他非常信任，所以李隆基出外巡视时总是将他带在身边。李隆基把黄旛绰带在身边，也因为他有急智，能在李隆基和臣下气氛尴尬时，出来当一个缓解气氛的和事老。这其中最有名的，就是封禅泰山时，他为张说解围了。
开元十三年（公元725年），李隆基为了彰显自己的功绩便效仿古代帝王封禅泰山。
封禅泰山在古代是非常隆重的一件事情，自然要安排一个重臣作为封禅使。李隆基选择了极力主张他封禅泰山的，集贤殿书院知院事学士张说为封禅使。他不但任命张说为右丞相兼中书令，还命张说负责撰写镌刻在泰山上的《封禅坛颂》。
张说这人文武全才，在开元年间出将入相，但是他的私德实在是不咋地。在被李隆基任命为封禅使后，张说大肆任用亲信出任处理封禅事宜的执事官。按照规定，参与封禅泰山的官员都可以升一级，可张说却借机将他的很多亲信直接提拔为了五品的官员（唐朝的宰相也只是三品官）！而另一边，张说对于跟随李隆基万里封禅长途跋涉一路吃灰的兵士们，却只记功不发赏钱！
张说这种明显偏袒自己人的不公做法，自然是惹得朝臣和兵士们怨声载道，很多人都向李隆基状告张说。可李隆基对张说安排的封禅仪式十分满意，因此不想追究张说违规的行为，但是架不住这么多人告状，也只能装模作样地找来张说问个究竟。
李隆基为了能让张说好下台，所以他只是选择了张说的女婿郑镒被违规提拔的事情询问张说。毕竟女婿郑镒在封禅泰山前仅仅是一个九品官员，现在却一下却成为了五品官员。封禅一个泰山就让郑镒一下跃过了，大多数官吏一辈子都没能到达的品级，这违规操作也太明显了。众目睽睽之下，李隆基也不能对此装做看不见。
然而令李隆基没想到的是，历经大风大浪的张说竟然被自己的这个问题给当场难住，傻愣愣地站在自己面前半天就是说不出一个字来。这下可把李隆基给整不会了，李隆基就算想给张说台阶下，那也得张说给他一个理由才行啊。李隆基就算要偏袒张说，也不能在群臣注视下表现得太明显不是嘛。
眼见李隆基和张说两人陷入令人尴尬的沉默，一旁的黄旛绰这时开口为他们解围了：“此乃泰山之力也。”
李隆基听到黄旛绰一语双关的话不由地笑了，赶紧接过黄旛绰的话头连连表示赞同，周围的大臣们虽然很不满李隆基就这么大事化小的做法，可也只能隐忍了。
从此以后泰山就成了岳父的代名词。
然而张说躲得过初一躲不过十五，就在封禅泰山的第二年（公元726年），犯了众怒的张说被群臣参劾多项罪状。尽管张说的兄长张光在朝堂上割自己的耳朵为其弟鸣冤，可是李隆基也架不住墙倒众人推，于是在公元727年他下旨勒令张说致仕。
经过这一次打击的张说，尽管其后又再被起复，却也身体大不如前了，因此在公元730年病逝。
还有一种有关泰山成为岳父代表词的说法是，泰山有丈人峰，因此泰山被指代为了岳父。丈人峰不是一座山峰，只是泰山玉皇顶西北的一块突兀的大岩石。