鸠摩罗什寺位于武威市凉州区北大街大什字北侧，始建于东晋后凉时期（公元386年至403年），是中国佛经大翻译家鸠摩罗什进入内地时曾经驻锡过十七年的地方，有1600多年的历史，从东晋后凉至今香火旺盛，虽然屡次遭遇天灾人祸，但罗什寺塔依旧屹立不倒，寺院名一直沿用至今从未改过（天下独有），彰显着鸠摩罗什寺的昔日辉煌。
据史书记载，在后凉建国初年，吕光取西域高僧鸠摩罗什到达武威后，为了安顿他的身心，便下令召募各地能工巧匠，大兴土木修建寺院，建好后，便命名为鸠摩罗什寺，让鸠摩罗什住在其中，弘扬佛法。罗什法师圆寂后，他的弟子遵其遗嘱，将他的“舌”舍利供奉于寺内，并在供奉“舌”舍利处造寺塔一座，也就是今天的罗什寺塔。建塔年代大约在（公元386年至403年）前后。
大唐贞观年间，大将军尉迟敬德统兵远征西域，行至武威地界，忽然他看到城内一座古塔顶上放射金光，宛若千佛降世；祥云生处，花雨飞舞。他相信这一奇观是一种神示：如此祥瑞之处必定是佛教的圣地。于是前往礼拜。敬德见到罗什寺塔后大生敬仰，遥想罗什法师功德，于是他下拨饷银，召能工巧匠，亲任监工，经一年多时间，寺塔完工。为彰此德，他在塔下立石碣为记，上刻“罗什地基，四至临街，敬德记。”此碑至今仍完好保存，可为一段历史明证。
盛唐时期，地处凉州闹市区的罗什寺成为往返丝绸之路的西域使节、各国僧侣荟萃交流的地方，对中西方宗教文化和思想交流贡献巨大，意义深远。
到了唐末、宋、元年间，汉族和西域少数民族频繁的战乱，凉州在很长时间里成为西域吐蕃领地，与汉文化长期隔绝，异教徒频频侵袭。唐代开元末年的安史之乱后，凉州被吐蕃长期占据。宋朝时忽必烈将凉州划拨到高昌地界做为牧场。至此，凉州地界上从汉晋六朝以来的所有遗迹，如罗什寺、灵钧台等，这些昔日被诗人王维、岑参咏歌颂赞的地方，都已失去了早期的历史面目。
明朝开国初年，社会逐渐稳定，积极有所发展，凉州城内的庙宇楼阁开始进行恢复性修缮，但罗什寺因为毁为一片瓦砾之地，一直没有进入修缮范围。
到了明朝永乐元年（公元1402年），有一个在张掖从军的鄱阳军夫石洪，客居凉州。发现“寺堂基址，瓦砾堆阜，榛莽荒秽丘不存”的罗什寺废墟时，心存悲凉，萌生了要在废墟上建一幢房屋的想法，并择定吉日，破土动工，工匠们就在地下挖出一块银牌，上面清楚地镌着“罗什寺”三个大字，石洪到这时才知道这是姚秦朝代为三藏法师鸠摩罗什建造的罗什寺旧址，大感意外，于是他决心重新修缮鸠摩罗什寺，以护先祖罗什法师之金身。明永乐二年秋八月，罗什寺重建正式动工，到年底就完成了正殿的修建，第二年完成全部修复工程，雕塑彩绘，一应俱全。明永乐十三年末，又修复了观音殿和罗汉殿。
在明朝后期，罗什寺被朝廷钦定为陕西凉州大寺院。明英宗正统十年二月十五日，朝廷为罗什寺颁发《大藏经》，并下了圣谕，圣谕中说：“刊印大藏经，颁赐天下，用广流传，兹以一藏，安置陕西凉州大寺院，永允供养。”此谕现完整保存于武威市博物馆。
清朝康熙二十八年，罗什寺又有过一次大型的修缮，这是明永乐元年以后又一次比较大的修复工程，据《重修罗什寺碑记》记载，经过这次重修的罗什寺“前后三院，焕然一新，乃五凉之福地；壮丽改观，诚河西之胜地也。”
1927年农历四月二十三日，武威发生七点七级大地震，凉州的许多名胜古迹被毁坏殆尽，城内的罗什寺、大云寺、清应寺无一幸免，全被毁为瓦砾之地，号称“文笔三峰”的罗什寺塔、大云寺塔、清应寺塔均被摇倒，唯罗什寺塔残存半截。到了一九三四年，武威国民政府在原址上重修了罗什寺塔，使历史古迹得以保存。
1938年，罗什寺宅地被武威第四中学占用，拆除了残存的佛像。1956年，武威专区撤并于张掖专区，武威县人民政府改称武威县人民委员会，坐落于北大街罗什寺的武威干校迁往张掖后，县人委为了解决公、检、法三机关办公分散、住房拥挤、关押犯人不便等问题，决定将公、检、法三机关迁至干校，也就是罗什寺旧址。武威市公安局入住后，将看守所设在罗什塔下面，寺院旧址则成为武威市公安局、检察院、法院的办公场所，残存殿堂改建成办公室。
改革开放以来，鸠摩罗什寺引起海内外各方人士的广泛关注。从1995年开始，先后有不少海内外团体慕名前来考察武威鸠摩罗什寺。其中影响较大的有香港宝林禅寺方丈及北京、上海、天津、福建、广东、江苏、浙江、陕西等地的僧俗考察团以及台湾圆光佛学院、新加坡、日本、韩国、澳门、美国、泰国、缅甸等国内外佛教团体和个人参访朝拜。特别是1998年4月，中国佛学院“丝绸之路考察朝拜团”，由全国29个省、市、自治区的34名法师来武朝拜鸠摩罗什寺，在国内外产生了巨大反响。武威鸠摩罗什寺的修复重建已势在必行。
1998年原武威市人民政府根据武威市佛教协会的要求，批准修复鸠摩罗什寺。同年，经甘肃省宗教局批准，成立了鸠摩罗什寺筹建处，罗什寺正式开放为佛教活动场所。2000年修复工程经省建工设计院设计，经原武威地区行署计划处以武地计投（2000）105号和原武威市计划委员会武计发（2000）45号文件批复，开始动工修建。修建中的鸠摩罗什寺已是凉州区佛教界规模最大的佛教寺院，今年接待的海内外香客与游客人数累计已超过二万人次。
