文人画的由来可以追溯到汉代，
张衡、菜邕皆有画名。画品虽不传世但是典籍皆有所记载。魏晋南北朝时期，姚最“不学为人，自娱而已”成为文人画的中心论调。使历代文人将其尊为绘画的宗旨。宗炳以山水明志“澄怀观道，卧以游之”。充分体现了文人自娱的心态。 唐代诗歌盛行，大诗人
王维以诗入画。使后世奉他为文人画的鼻祖。他的绘画作品成为后世文人画家的范本。诗中有画，画中有诗。蔚然成风，代代相传。
南北宋时期出现了许多大文人，如苏轼、
黄庭坚、米芾父子等，他们在王维的文人画派基础上，以书法入画，实践并发展了其水墨技巧。邓春的“画者，文之极也”等理论已将“文”与“画”紧紧的结合在一起，是系统的文人画理论，对文人画在以后的发展上启到了深远的影响。此时，苏轼提出的“士人画”概念又使文人画向更成熟迈进了一步。
进入到元代，文人画进入兴盛时期。元统治者重武轻文，导致更多的文人从事绘画。最著名的文人画家有
黄公望、王蒙、倪瓒、吴镇。即后世所说的"元四家"。他们的画多表现"隐居""高隐""小隐""渔隐"，以"出世成仙"的态度表达一种士大夫阶层的孤傲、空虚的情感。艺术上提倡"高雅"、"平淡天真"、"天真幽淡"，理论上主张"逸笔草草"、"不求形似"、"聊写胸中逸气"等。这一时期诗文印信也逐步正式进入画面。不但成为布局的组成部分。而且更直接地抒发作者的心声。诗、书、画、印始成一体，诗画相联，诗是无形画，画是有形诗，诗情贯注于画意之中相辅相成，这也标志这文人画形式的完善。
明代前期文人画处在继承发展时期 ，出现了"吴门画派" 和"浙派"，沈周、
文征明，戴进等是这一时期的重要代表人物。直到明代中后期身为理论家、画家的
董其昌根据苏轼的"士人画"理论进一步提出画分南北宗和文人画理论，文人画的名字也正式被提出和使用。同时，作为南宗的文人画地位得到确立乃至成为
中国绘画观念的最高认识。
清代到了文人画鼎盛的时期，涌现了诸多顶极文人画家，最突出的是"四僧"，"四僧"中又以八大山人、石涛最为突出。身为明末遗民，他们在书画中寄寓国破家亡之痛，八大笔法恣肆、放纵、简括、凝练，造形夸张，意境冷寂。石涛努力体察自然，鄙视陈陈相因，亦步亦趋的画家，主张"笔墨当随时代"，"法自我立"，面向生活"搜尽奇峰打草稿"。他的主张对后世的"扬州画派"、"
扬州八怪"、虚谷、赵之谦、任伯年，
吴昌硕等都起到了深刻的影响。
兴起原因：
首先，中国长期
封建社会的文官，都能诗文、工书法。自隋创立
科举制，以文取士，历代沿袭。因此，官僚、文人这二者在中国历史上几乎混然一体，难以分割，古称为“士大夫”。“士大夫”们在一定的条件下以画自娱或用以为封建统治服务是必然的，并在漫长的岁月中逐渐形成一种风气和势力。
其次，是由于中国的绘画和书法的主要工具相同，远古的画工，早已创造了以线造型的技法。所以，长于书法的文人，进入绘画创作的领域，有其有利的条件。在长期的，虽大多数是业余的艺术实践中，文人的思想、感情、包括世界观、政治观及所谓“人品”、“风度”等必然渗入其创作活动中，在题材内容和技法要求上，也必然有新的发展和演变，逐渐形成典型的文人画和声势浩大的文人画派。
再就是文人士大夫能著书立说，历代许多文人画家，或总结了优秀画工和他们自己的创作经验，或评论了一些杰出大师及其作品的艺术成就，或辑录了系统的史料，使文人画家的创作思想能得以广泛传播和对后世产生持续的影响。