龙虎台之名并非虚拟杜撰而来，而是确有所指。据元代江孚所作《龙虎台赋》云：“若乃崚嶒嶻嶭，撑鳞奋鬛。周回连蜷，蜿蜿蜒蜒。林蒸润而雨降，崖转石而雷喧。势将腾海水而喷薄，鼓颢气而飞天。吾是以知台之所以名龙，神变化而无前。至若嵌岩谽谺，有呀其牙。孱颜岝萼，而爪而攫。春花明而文炳，飞泉咆而慓魄。众山奔骞于其下兮，若百兽震悼披靡而前却。吾是以知台之所以名虎，雄万古而磅礴。”
至元八年（1271年），元世祖忽必烈定国号为元；次年改金中都为元大都，将政治与军事指挥中心移驻新京；至元十六年（1279年）灭南宋，统一中国。从至元十七年开始，元世祖于夏季要回到上都（今内蒙古自治区锡林郭勒盟正蓝旗东、闪电河北岸）避暑，起初只在往返途中搭建临时帐殿，鉴于当时国家局势已趋稳定，至元十八年开始在沿途修建行宫，龙虎台即荣幸地成为大都城北的第一座行宫。
元世祖为什么要将行宫建在山前台地上呢？一是无水患之忧。二是便于警戒，确保安全。三是可以居高观景，怡悦心神。四是台高道低，皇帝登临台上，可俯视百官万民，群臣百姓则需抬头瞻仰帝尊，既符合封建礼数，又可满足帝王称霸海内、四方臣服的雄心。在元、明、清三代，龙虎台因行宫而身价百倍，行宫则因高台愈显气势恢宏。文人墨客亲临此地，无不撰文赞叹，频献华章。江孚将龙虎台与历史上著名的姑苏台和铜雀台相媲美，并远在其上。明太祖朱元璋的大谋士刘伯温 久慕龙虎台之名，亲临台前，审视良久，赞不绝口，将之比作传说中的三座仙山—蓬莱、方丈（又名方壶）和瀛洲，称它是按照人的意愿、用自然之力建造的人间仙境。并作《龙虎台赋》称颂它：“杰彼神台，在京之郊。金城内阻，灵关外包。上依天倪，下镇地轴。太行为臂，沧海为腹。崇台峩峩，虎以据之。群山巃嵷，龙以翼之......于隆神台，与天斯同。”江孚、刘基、马祖常、周伯琦、金幼孜等人都是享誉宇内的显宦、文豪，也先后做过有关龙虎台的诗赋。因而龙虎台也借助其名、其文远播美誉，驰名华夏。
