印度最早的建筑出现在印度河文明时期。摩亨佐·达罗和哈拉帕是当时的两座规模很大的城市。它们出现在公元前3000年至前2000年。从摩亨佐·达罗遗址看，古建筑规划相希腊化的犍陀罗佛陀立像，犍陀罗地区马尔丹出土，现存白沙瓦博物馆。当和谐统一，已体现出较高的水平。
印度建筑艺术的真正开端是在孔雀王朝时期。这一时期的建筑遗存下来的不多，但它们在历史上却曾对后世的印度教建筑产生了深刻影响。阿育王石柱被认为是印度最早的石建筑，曾经广泛分布于孔雀帝国的许多地方。从建筑的角度讲，阿育王石柱显然是象征主义的。
阿育王时期另一种重要建筑是佛塔。传说这位虔诚信佛的皇帝曾“敕建八万四千塔”，用以分散保存佛舍利。此数虽然未必确切，但阿育王时代造塔成风是历史事实。在古印度所有的佛教建筑中，桑奇大塔是印度早期佛塔建筑的典型范例。塔的直径约37米，高约24米。大塔中心半球形覆钵，始建于公元前3世纪，即阿育王时代，桑奇大塔的建造和完善前后跨越4个世纪，历时近300年。在孔雀王朝之后的巽伽王朝时期，在大塔覆钵土墩外面垒砌砖石，涂以灰泥，顶上添建一方平台和三层伞盖，底部构筑沙石台基、双重扶梯、右绕甬道和围栏，始具现今规模。安达罗王朝时代，又在大塔围栏四方陆续建成四座沙石塔门。桑奇大塔对后来的佛塔建筑产生深远影响。如今，桑奇大塔以它佛教圣地的地位和独有的艺术魅力，吸引着世界各地凭吊佛教古迹的众多游客。
笈多王朝时期的佛像后来的佛教建筑主要是寺院和石窟寺，散见于印度各地。其中最著名的有位于今比哈尔邦巴特那市东南的那烂陀寺。该寺建于公元5世纪上半叶笈多王朝时期，是印度佛教学术中心，后屡有扩建，规模宏大，殿宇壮观，声闻海外。寺内宝彩、宝海、宝洋三大殿，实际是藏书甚丰的图书馆，其中宝洋殿高达九层，极为壮观。宋《高僧传》卷释迦如来苦修像三《寂默传》称：“那烂陀寺，周围四十八里，九寺一门，是九天王所造。”这样一座享有盛誉的大型寺庙群，竟在12世纪末时毁于入侵穆斯林的兵祸，连寺中收藏着的无数珍贵的典籍也未能幸免于难。随着佛教在印度本土的衰微，佛教建筑在印度也成为过眼云烟，辉煌不再。
还出现了石窟建筑，如在今比哈尔邦巴拉巴尔丘陵开凿的苏达马石窟和在伽雅附近龙树山开凿的洛摩斯里希石窟。它们开了后世印度佛教岩凿支提窟、毗诃罗窟等石窟建筑的先河。在巽伽王朝后期，即从公元前2世纪中期起，在今马哈拉施特拉邦的加尔利和帕贾两地，开始大量出现岩凿支提窟。在随后的漫长岁月中，佛教、印度教和耆那教的无数虔诚信徒，在印度开凿了1200多个规模大大小小的类似支提窟的石窟，构成印度艺术史上极其重要的一页。