1593年，明太仆寺少卿徐泰时罢官归田后，在苏州金阊门外建造园林，名为东园，这既是留园的前身。徐泰时能够建成东园，和他的做官经历是分不开的。
早在1580年，41岁的徐泰时考中进士，被授予工部营缮主事，后以劳绩晋升为营缮郎中。
后来，明神宗兴建寿陵，徐泰时被派到工地管理寿陵的建造。这一段时间的修陵经历，为徐泰时以后建东园积累了丰富的经验。
修陵之后，徐泰时因平时慷慨任事，自持才高，得罪了上司与同僚，被弹劾，后来被罢职了。
徐泰时罢官回归故里苏州后不问世事，在1593年开始专心建筑东园和西园。西园为佛寺，即后来的戒幢律寺，东园为园林，即留园前身。
由于徐泰时仰慕范仲淹，取《岳阳楼记》的含义，题园中主体建筑名为后乐堂。但后乐堂被毁，后来刘恕为园主时扩建为“传经堂”，到盛康为园主时，因得文征明停云馆藏石，更名为“五峰仙馆”。
五峰仙馆位于大门的北方，为留园一座最大的建筑，由于五峰仙馆的梁柱均为楠木，又称楠木厅，有“江南第一厅堂”之誉。这里的一副楹联道：
白云怡意；
清泉洗心。
楹联的落款是：佚名题留园五峰仙馆北浣云沼东边墙。
楹联主要写山居生活的情趣。上联中的白云，一方面是隐逸的象征，一方面又是禅家常用的喻象，象征着不染不著、无拘无缚的自由心态。
下联表达的是以清澈的泉水涤荡心中的杂念，使心志纯洁专一，颇富玄理色彩。全联言简意赅，意趣恬淡，富有玄理妙思。
此楹联出自南朝梁时陶弘景《诏问山中何所有，赋诗以答》一诗，诗道：
山中何所有？岭上多白云。
只可自怡悦，不堪持寄君。
五峰仙馆内还有楹联为：
雨后静观山意思；
风前闲看月精神。
楹联落款是：梁谳集自宋人邵雍诗题五峰仙馆内大理石插屏。
表示此幅楹联是为馆内的大理石插屏所题。
五峰仙馆的这块大理石圆形座屏的石面纹理色彩仿佛一幅“雨霁图”，而左上方的朦胧石晕又恰成云中月，故联语选取了富有诗意的自然景物，如新雨洗过的青山、清风和明月，景清而意远，仿佛天然水墨图画。
联中的“山意思”和“月精神”，赋自然风景以人情味，和李白《独坐敬亭山》中“相看两不厌，只有敬亭山”意境异曲同工，写出了山和月的个性，人与山月，好像主人和宾客一样，是物我交感的绝好说明。
五峰仙馆还有楹联道：
历宦海四朝身，且住为佳，休辜负清风明月；
借他乡一廛地，因寄所托，任安排奇石名花。
楹联落款是：“盛康题留园五峰仙馆”，这是后来园主盛康的自撰联，联中的“且住为佳”，出自晋人帖：
天气殊未佳，汝定成行否？寒食近，且住为佳尔。
盛康精通医道，原在常州开过药店，因所献丹药治愈慈禧太后的慢性皮炎而得到青睐。
此后，凭借着自己的才能，盛康在官场上非常得意，不断升迁。而此联就是反映了盛康官场得意后的踌躇满志，寄情山水之情。
五峰仙馆的北厅还有一副楹联道：
读书取正，读易取变，读骚取幽，读庄取达，读汉文取坚，最有味卷中岁月；
与菊同野，与梅同疏，与莲同洁，与兰同芳，与海棠同韵，定自称花里神仙。
楹联的落款是：“陆润庠题留园五峰仙馆北厅”，此联为后来清代状元陆润痒撰写，挂放在五峰仙馆厅北，借用于此和环境不甚相符。
楹联的上句谈读书之乐。作者选取了五部有代表性的著作，吸取其精髓，从中获取无穷乐趣。下句借咏花喻指人品格高洁脱俗，心志不凡。
据记载，徐泰时所建的东园已经颇具规模。后乐堂前有楼，楼下左右隅植牡丹、芍药，又在堂右数步外植野梅一林，在堂后请叠山高手周时臣垒石屏作普陀、天台诸峰峦状，山上梅岩相得，势若拱遇。池堤上红杏垂杨间植，堤尽有亭一座。
另外，徐泰时还在园中安置了三块有名的太湖石，造成了冠云峰、瑞云峰和岫云峰。这三块太湖石也是宋代花石纲的遗物。
在庭院居中者，最为高大的即为冠云峰，东西两侧分别为瑞云、岫云两峰，两峰退立两侧，屏立于冠云峰左右，呈品字形排列。
冠云峰清秀奇特，极嵌空瘦挺之妙，因石巅高耸，四展如冠，取名冠云。此峰不但正面看去峻峭雄拔，风韵不凡，细看峰顶，似乎像一只雄鹰兀立其上，鹰头在西，向下盯着一只向上趴的老龟。
如从西北方向望去，却另有一番情趣，宛如一尊送子观音，怀抱婴儿，脚踩鳌鱼，亭亭玉立。
冠云峰前凿有小池，半方半曲，峰石倒影落入池中，名为“浣云沼”。峰后建楼名为“仙苑亭”，又叫“冠云楼”。
这前池后楼和石峰在色调上与形体上，形成了深浅明暗和高低横竖的明显对比，从而把冠云峰衬托得更为高大凌空。
山峰下用湖石砌成的花台小径，罗列小峰石笋，花草松竹点缀其间，真是绝妙的林泉景色，大有林下水边，胜地之胜的风味。
冠云峰西侧一峰，名为“岫云峰”。峰石呈白色，嵌空玲珑，窍穴密布，视之犹如乱云出岫，飞雪轻扬。身下有一沟壑，形如深山溪涧，蜿蜒曲折。
后来峰脚下有一棵百年枸杞，攀石穿穴，缠绕其身。每值深秋，那峰石上一串串翡翠般的绿叶，以及那色同红珊瑚似的浆果，把峰石打扮得更为美丽，充满生机。
瑞云峰石呈浅灰色，亦玲珑嵌空，窍穴数百，有两个由水浪拍打形成的大洞孔，把石峰左右形成两只宽袍舞袖，相隔仅尺，如同美女扭动着细肢软腰，翠袖翾风，舞姿翩跹。
据说，徐泰时得到瑞云峰后，在将石运至东园的一路上不知破坏了多少桥梁，因此，徐泰时对瑞云峰更加珍惜了。
峰石运回苏州后，立于徐氏园林堂侧土垅之上。徐泰时女婿范允临曾对时任吴县知县袁宏道说：“此石每夜有烛光出现。”
从此，瑞云峰更是名声鹊起。但是瑞云峰运回不久，徐泰时就病故了，瑞云峰从此就高卧深林茂草之中。
过了40年，徐泰时的儿子徐溶把这些倒伏在深林茂草中的瑞云峰又竖立了起来。但是没想到，没有几年徐溶也死了，相传瑞云峰为不祥之物，所以一直被搁置了，后来才被重新立起来。
瑞云峰高约5米，宽约3米，厚1米，底座高1米，总高约6米。峰形似巨掌，褶皱相叠，涡洞相套，玲珑剔透，趣妙曲折，四面可赏，其规模体量，清秀奇特为现存太湖石峰之最。
瑞云峰不仅具有传统赏石品定的“瘦、皱、漏、透”四美，而且形态天成，神采独具，更是历史悠久，传说神奇。明代文学家袁宏道称赞瑞云峰“妍巧甲于江南”。
徐氏园林中的简洁疏朗和自然野趣，反映了禅宗美学思想的超凡脱尘原则，而疏朗与野趣正是明代文人园林的特点。徐泰时不仅修建了东园，还给东园带来了一些文化元素。
当时，徐泰时一边修园时，一边还结识了许多朋友。他所会的好友有著名文学家、吴县知县袁宏道和长洲令江盈科。
这两人在1595年到苏州任职，把东园分别记入《园亭纪略》和《后乐堂记》中，东园也因这两篇美文而闻名。
徐泰时去世后，东园传及子孙，但是后来随着徐氏的没落，东园也逐渐衰落。清朝初期，东园曾一度被废为踹布坊。相传当时也曾经被人重建，但屡屡易主，所以总是无法得到很好的重建。
留园的五峰仙馆内保存有一件号称“留园三宝”之一的大理石天然画“鱼化石”。
只见一面大理石立屏立于墙边，石表面中间部分隐隐约约群山环抱，悬壁重叠，下部流水潺潺，瀑布飞悬，上部流云婀娜，正中上方，一轮白白的圆斑，就像一轮太阳或者一轮明月，这是自然形成的一幅山水画。
这块直径一米左右的大理石出产于云南点苍山山中，厚度也仅有1.5厘米，真奇怪，这么大尺寸的一块大理石，是如何完好无损从千里之外的云南运到这个江南苏州的，真是一个谜！