先秦是中国散文的成熟期和第一个繁荣期，目前可知中国最早的散文集，是《尚书》。春秋战国时期，是中国思想史上百家争鸣的时代，他们各自提出如何解决当时的社会问题的主张，散文的发展因而突飞猛进，产生哲理散文与历史散文。哲理散文著名的诸子散文有记载老子思想的《老子》、以及许多重要思想家自己撰写的，如《墨子》、《庄子》、《韩非子》、《吕氏春秋》、《荀子》等等；而《春秋》、《左传》、《国语》、《战国策》，记载春秋、战国时代各国的政治、军事、外交活动和重大事件，以及游走于各国的策士、说客的言论，可归之于历史散文，为中国叙事文学树立楷模。
汉代散文延续先秦而有再进一步的发展。先秦哲理散文在当代政治、经济、社会各方面的具体条件之下而蓬勃兴盛，其所呈现的思想、所阐发的道理，也都以现实为触发，两汉政论散文以此为基础，综合儒、道、法三家的思想，更进一步与时代紧密结合，发挥经世济民的功能。
汉代散文可分史传散文、政论散文和哲理散文三类。史传散文有《史记》及《汉书》；政论散文有贾谊《治安策》、《过秦论》、晁错《言兵事疏》、《论贵粟疏》；哲理散文有刘安《淮南子》、王充《论衡》。
先秦、汉代散文，记载、诠释历史，或针砭、议论当代，或为解决问题而出，或为陈述理想而著，其动机、其目的本不在文，所以各家散文，各有其特色；这就是唐、宋以来散文作家孜孜以这两个时代的散文为典范而大力提倡的基本原因。
魏晋南北朝是继春秋、战国之后，中国历史上第二个社会大变动的时期。二者之不同在于春秋、战国时期为封建解体和国家形成的过渡阶段，是一个由分而合的过程；魏晋南北朝是在大一统的汉帝国灭亡后的分裂时期。由于政治环境的混乱、儒学的衰微与玄学的兴盛、道教佛学的传布等等因素，造就这个时期独特的文学品味和风气。这时的散文大抵上追求“美”，讲求形式，注重辞藻，而个人情感加重许多，这一时期的风格，倾向于精致细腻，与先秦、汉代恢宏壮阔的散文大为不同，而是以代表此文风，来表现出山水之美。山水是自然的，政治、经济、社会是人为的。面对人为种种混乱和黑暗，文人从山水之美寻找寄托、慰籍。
此一时期的散文作品，有北魏郦道元的《水经注》和杨炫之的《洛阳伽蓝记》为代表。《水经注》文字精美、文笔流畅，呈现雄奇秀丽的山水景色，生动而有韵味，对于后代的山水游记影响极为深远；《洛阳伽蓝记》描述洛阳的佛寺园林，文字简洁，辞采丰美，而记述详实，反映当代的社会面貌和豪门、僧尼的淫侈生活。其他的山水小品，皆是字句秀丽，意境高远，趣味隽永，充分表现出此一时期文人的心态。
唐代不同于汉代，在于文化的包容力较强，因此魏晋以来的佛、老思想以及唯美文风依然持续。一直到中唐，韩愈有见于国家日趋衰微，针对六朝时骈文的奢华风气，开始号召古文运动，力图以朴实明畅的散文，取代华而不实的骈文，因此易写、易读的散文，在唐诗盛行的时代，曾一度风行起来，不过到了晚唐、五代，古文运动渐趋衰落。
韩愈的创作，语言明快畅达，文气充厚贯注，不论论说、叙事、抒情，都有极高的成就。古文运动的另一倡导者柳宗元则以山水游记及寓言短文，显表散文优于骈文的例证。柳宗元山水游记借山水以写自身遭遇和感慨；寓言短文则短小警察，或评时政，或讽人性，皆犀利而又深远。
后来到了北宋中期，欧阳修继承韩愈为职志，领导当代古文运动，苏洵、苏轼、苏辙、曾巩和王安石为先导者。其六人加上唐代的韩愈、柳宗元，并称“唐宋古文八大家”，其文兼有历史散文之事、哲理散文之理以及魏晋南北朝之情，三者兼具，散文至此已到巅峰，因此在中国散文的写作史上，留下辉煌的一页。
在金、元散文不振，作家沉寂之后，明代散文的发展。由于八股取士的政治特色，使当时的一些知识分子产生对八股文的反动，以前后七子为首的文学集团，主张拟古、复古，强调“文必秦汉，诗必盛唐”。造成那时对秦汉散文模拟的风气大盛，拟古风气笼罩明代文坛约一百年。然而一味地抄袭、模拟，终究不是良好的创作心态，产生的作品价值有限。另外小品文的出现，倒是为明代的散文，注入了一股新的气息。
清代延续明代出现风格率真、浪漫的小品文，以张岱、李渔与袁枚为主；又有侯方域、魏禧和汪琬合称“清初散文三大家”。但是他们的文风不受道学学者支持，这些学者发起复兴唐宋文风的古文运动，此即桐城派，其继承归有光的“唐宋派”古文传统。创始人方苞与刘大櫆、姚鼐有“桐城三祖”之称。姚鼐是桐城派的集大成者，他的古文主张，在提倡“义理（内容合理）、考据（材料确切）、词章（文辞精美），三者不可偏废。”讲究义法，提倡义理，要求语言雅洁，反对俚俗。后来曾国藩发展成湘乡派，恽敬和张惠言发展成阳湖派。
清朝甲午战争后，文体渐有改变的趋势，以梁启超的《政论》作为代表，他的文体浅近，间杂俚语，已与清代桐城派的古代大为不同，1917年，胡适和陈独秀等人提倡文学革命，以白话文为中国文学的正宗，主张建立通俗易懂的社会文学，那时青年学子，群起风从，五四运动以来，中国的现代散文吸收了西方的思潮，被鲁迅等作家推广之后，成为与诗歌、小说和戏曲并列的文学主流。
现代散文多用语体，较为平易，较少摹仿古人，较欧化，着重个性，题材较广，较多幽点与讽刺。散文易读、易写的特性，使这种文体被运用得极广。学生的作文，也几乎都是用散文的形式表达，可说是人人懂写。