谢安出生在官宦家庭，他的父亲谢裒曾任太常。据说谢安四岁时就表露出了将相之气。谯郡的名士桓彝见到谢安后大声赞叹说：“这孩子风神秀彻，前程不会比王导差。”
童年的谢安，充分显示了他的天才和智慧。幼小的谢安就见识超群，沉静聪明，气宇不凡。到了少年，他更是与众不同。当他去见王蒙时，与王蒙谈论很久，言谈话语，无不显出他的才气与睿智。他走以后，王蒙之子王修问：“刚才的客人怎么样？”王蒙赞许道：“此客议论不倦，谈锋逼人。”他天资聪颖，赢得各地名士的欣赏和赞许。当时的丞相王导也很器重他。谢安从小就穿梭于名士行列之间，因此早有名声。
谢安生性迷恋山水之间，对于仕途不感兴趣，他情趣高雅，淡泊名利。最初他辟司徒府，任佐著作郎，但他以有病为借口推辞掉了。当他寓居在会稽时，和名士王羲之及高阳许询，僧支遁交游，出外游山玩水，在家谈天说地，议论古今，咏诗作文，没有任何入世济世的意思，他喜欢生活在世外桃源中。
谢安的名气越来越大。扬州刺史庾冰也很敬慕他，下定决心要请谢安出来做官。他屡次要求下属郡县去敦促谢安。谢安眼看没有办法搪塞下去了，只得赴召，但一个多月后，他又告假而归。
后来，谢安被征召为尚书郎和琅琊王的幕僚，他都不去就任。吏部尚书范汪荐举谢安为吏部郎，谢安还是写信谢绝。有关衙门由于谢安被征召历年不到任，上疏奏请朝廷处以“禁锢终身”，取消他入仕的资格。但谢安并不因此而感到苦恼，相反，他更加尽情地游览大好河山。
谢安曾经到过临安山中，静坐在石屋内，面临深谷，感到大为快意，他悠然叹道：“能这样才距离伯夷不远了！”他曾和孙绰等泛舟海上，恰巧风起浪涌，众人都很恐惧，谢安仍然吟唱不已，镇定自若。船夫以为谢安喜欢如此，就前进不止。风越来越急，谢安慢慢地说：“这种情况将怎么回去呀？”船夫听到这话，才立即转舵返回。谢安的气度宽宏，众人都很佩服。