武夷山博物馆的历史可以追溯至其前身——武夷山市文化馆的文物室。1992年，这座博物馆在市区原有的文庙遗址上落成，同年2月正式对外开放，结束了文物室的功能，所有馆藏文物也随之转移至此。总投资约为140万元，占地面积2400平方米，建筑面积1500平方米，是一座五层的钢筋混凝土仿古建筑，拥有六个展室和配套的文物库房。
馆内珍藏了从新石器晚期至清末的文物共计600余件，其中经过福建省文化厅文物鉴定组专家鉴定的文物达到了525件，其中包括6件国家二级文物和474件三级文物。这些珍贵文物展示了武夷山深厚的历史底蕴。
1996年，为了扩大影响力，让更多国内外游客了解和认识武夷山，博物馆迁至新的地址，并于同年5月1日正式对外开放。原址的建筑则转交给武夷山市图书馆继续发挥作用。
1998年至1999年间，博物馆为了配合武夷山的“世界遗产”申报工作，进行了全面的整修改版，引入了先进的展示技术和保护措施。博物馆门口照墙上悬挂着已故全国政协副主席赵朴初亲笔题写的馆名——“武夷山市博物馆”，大门两侧的楹联则取自当代著名历史学家、复旦大学教授蔡尚思的诗句，寓意深远，体现了中国古文化的独特魅力和武夷山的独特地位。
武夷山博物馆位于九曲溪一曲码头北岸，武夷宫仿宋古街,为两层楼阁式仿宋建筑，建筑面积1400平方米，是武夷山市的重要对外宣传窗口。此处晴川旷豁，碧波荡漾，丹峰远仰，风景秀丽，是武夷山主要景点之一。