据《北京牛街岗上礼拜寺志》记载,牛街清真寺创建于公元966年(辽圣宗十三年、北宋至道二年),
为辽代入仕的阿拉伯学者纳苏鲁丁所创建。 公元1427年(明宣德二年)扩建,公元1442年(明正统七年)整修。公元1474(明成化十年),都指挥詹升题请名号,奉敕赐名“礼拜寺”,故有“明寺”之称。公元1696年(清康熙三十五年)又按原样进行大规模修葺,总共经历8次修缮扩建。
中华人民共和国成立后,先后于1955年和1979年两次拨款进行全面修缮。中外穆斯林经常到此进行宗教活动和参观访问。北京市宣武区伊斯兰教协会和北京穆斯林建设牛街基金会均设在寺内。1988年列为国家重点文物保护单位。