雅丹地貌的形成有两个重要的因素。一是发育这种地貌的地质基础，也就是必须有湖泊沉积地层；二是外力侵蚀，就是沙漠中强大的定向风的吹蚀和流水的侵蚀。在长期风的磨蚀作用下，小山包的下部往往遭受较强的剥蚀作用，并逐渐形成向里凹的形态。如果小山包上部的岩层比较松散，在重力作用下就容易垮塌形成陡壁，形成雅丹地貌， 雅丹地貌在世界上许多的干旱地区都可以找到，包括突厥斯坦荒漠和莫哈韦荒漠。据记载，中国的雅丹地貌面积约2万多平方公里，主要分布在青海柴达木盆地西北部，疏勒河中下游和罗布泊周围。
敦煌魔鬼城属于古罗布泊的一部分。为沙漠平原区，光照充足，降雨量少，蒸发量大，四季多风，最大风力可达12级以上。在地质上位于新生代（距今约6500万年以来）敦煌——疏勒河断陷盆地的中心部位。雅丹地貌的岩石形成于距今约70万年的中更新世，为一套河湖相的砂泥质沉积物。颜色呈灰色、灰绿色和土黄色。古老的盆地中心层理水平，边缘的层理交错，局部还保存着很多虫迹化石，显示着古代河流和湖泊的特征。由于岩层产状水平，垂直节理发育，较松软岩层在大自然疾风暴雨的漫长风化中，导致了各种雅丹风蚀地貌的形成。
雅丹地貌的形成和发育经历了一个漫长的过程。早更新世，敦煌盆地以寒湿性气候为主，盆地边缘地带多为冲洪积层和冲积相砂砾石层沉积。中更新世，气候演变为温润多雨，水量剧增，形成东起安西、西至罗布泊以西的浩瀚的淡水湖，沉积了一套灰褐色、灰绿色、土黄色泥砂和黏性土层的典型淡水湖相沉积。晚更新世，盆地缓慢抬升，气候日趋干旱。中更新世，湖泊相地层经抬升出露于地表后，在暂时性水流的作用下，沿着岩石的断层和柱状节理方向，岩石被切割冲刷成垄岗状地形。由于风长期的猛烈吹蚀，松软的沙土石被卷走，地表被侵蚀成颇具规则的沟谷，而坚硬的土石层则成为高矮不等的土岗，强风又刀刻斧凿般地把土岗雕成一个个似人非人、似禽非禽的造型，“石人”、“石佛”、“石蘑菇”、“孔雀”、“宝塔”、“蒙古包”等，千姿百态，维妙维肖，无奇不有。夜幕降临之后，强劲地风发出恐怖的啸叫，犹如千万只野兽在怒吼，令人毛骨悚然，“魔鬼城”也因此而得名。
