很多与五台山有关的古籍和志史中都有记载，五台山原来是修炼道教的人居住之地。
如《仙经》云：“五台山，名为紫府，常有紫气，仙人居之。”
《六贴》云：“银宫金阙，紫府青都，皆是神仙所居。”
《大唐神州感通录》云：“代州东南，有五台山者，古称神仙之宅也。山方五百里，势极崇峻。上有五台，其顶不生草木。松柏茂林，森于谷底。其山极寒，南号清凉山，山下有清凉府。经中明说，文殊将五百仙人住清凉雪山，即斯地也。所以，古来求道之士，多游此山。灵踪遗窟，奄然在目，不徒设也。”
《括地志》云：“其山层盘秀峙，曲径萦纡，灵岳神溪，非薄俗可栖。止者，悉是栖禅之士，思玄之流。”等等。
直至西晋末年，五台山仍被人们看成仙都。如唐释慧祥《古清凉传》卷上云：“晋永嘉三年，雁门郡葰人县百余家避乱入此山，见山人为之步驱而不返，遂宁居岩野。往还之士时有望其居者，至诣寻访，莫知所在，故人以是山为仙者之都矣。”
作为清凉圣地、紫府名山的五台山，异花芬馥，幽石莹洁，苍岩碧洞，瑞气萦绕，时令高人远访，贵族亲临，并且流传着不少与道教有关的传说。
据明代释镇澄著《清凉山志》卷四载《五髻仙人传》云：“汉明以前，声教未至，台山圣境，闻者尚希，况造者乎！当是时，五百里内，林木茂密，虎豹纵横，五峰无路，人迹罕通。其川原之处，皆黄冠所居。每望五峰之间，祥光焕发，神灯夜流，皆以为神人之都。自古相传，有仙人者，发结五髻，衣挂三铢。或独一无侣，或群儿相逐，游行五顶间，望之俨然，近之则失。或出或入，人莫追寻。或云周时即在此山，或云莫穷其始。后来人迹渐繁，其出渐少。当时黄冠，目为素衣仙。及腾兰开山后，遂不复现。《三晋异记》云：‘无恤登常山，西瞻紫云之瑞，疑雁代间有王气。因猎于五台之阿，倏而云淡若水，见神人焉。衣素，容若金，俨若熙若。占之，蔬祭吉，遂罢猎而返。’后《宝藏经》至，乃知五髻童子，文殊化身也。”
又《清凉山志》卷二载，元魏永安二年，恒州刺史延庆因狩猎至东台之东北，仆夫四人追逐一只白鹿时，偶然看见一大宅高门，白鹿即窜进大门里。有一长者，须发皓然，柱杖而立，说白鹿是我家所有，你们为何随意乱追逐它。仆夫们说我们追不到鹿，又饥又困可怎么办。老翁于是指点他们去东边的枣林，那时枣子刚熟。仆夫四人在枣林里吃饱后，用行囊装了一包枣子给延庆吃。延庆觉此事颇奇怪，于是又循原路寻找，却再也找不到了。卷七载，唐朝孝子李思逊，山东人，他曾背负八十岁的老母亲游五台山。第二年，他母亲去世了，李思逊因非常思念自己的母亲，为报母恩一步一礼至五台山北台麓结庵修道。不久，有异人授灵药。他服食灵药后，辞别好友僧人道一，羽化而去。后人称其居室为仙人庵。又载唐景龙年间，代州人谢平，在五台山东台麓遇见一老叟，招他进入深谷之中。只见川原清畅，花木秀茂，茆茨石室，诸仙所居。谢平采薇而食，其味冲澹，了无茹退，血气优柔，不思嗜欲。谢平住了一段时间，开始想念亲人，于是采薇装了一包回家给母亲吃。当时他母亲快病死了，吃了之后不久病就好了。谢平在家住了三个月又回到仙人所居之处，人们从此再也没有见过他。等等。
五台山仍存留着一些与道教传说有关的遗迹，这些遗迹让古往今来的游客们留下了不少感怀诗文。如大白塔南1公里处，有座高约百余米的梵仙山，山顶上坐落着一座现主要供奉胡仙的大仙庙。梵仙山上青松成林，鲜花烂漫，据《清凉山志》载，昔有五百仙人，在此饵菊成道。觉玄有诗怀之曰：“山头紫气日长浮，上有仙人汗漫游。饵菊换教风骨异，白云影里去悠悠。”[45]五台中的南台，亦名仙花山，唐代禅师普明曾于南台之北凿龛修行，著有诗《南台歌》曰：“南台之麓，仙人之居。春云霭霭，暮雨霏霏。卧于石罅，而坐神龟，杳然飞去，仙花披靡。”
镇澄诗曰：“西望龙泉锦绣开，紫云郁郁锁仙台。就中一片清凉地，劫火曾经几度来。”
觉玄咏北台仙人庵诗曰：“何年仙子此修行，服日餐霞道气清。袖拂天风骑鹤去，至今传说有庵名。”等等。
九华山、普陀山、峨眉山、五台山中多姿多彩的道教文化现象，为这四座以佛教文化为主要内容的佛教名山增添了许多古雅的文化气息，也为宗教学、方志学、文学、史学等多方面的学术研究提供了很好的素材，对促进佛教四大名山旅游事业的发展也有很多的好处。
