在解放前，绥宁县民众教育馆内设有一个图书室，位于孔庙内。然而，1950年国民党败退时，他们占据县城，导致民众教育馆遭受破坏，馆内的所有图书都遭受损失。
随着解放的到来，图书馆得以重建。最初，从旧邮局接收了一些图书，加上省人民政府提供的部分通俗读物，重新组建了图书室。1951年，随着县文化馆的成立，图书室改名为文化馆图书室。然而，由于频繁的人事变动和政治运动的影响，图书馆的发展进程缓慢，直到1966年，馆藏书籍仅有一万册。
直到1976年10月，图书馆正式成立，配备了两名工作人员，藏书数量仍然在一万册左右。随着文化大革命的结束，图书馆开始逐步恢复和发展。1980年，县文化馆搬至新址，原文化馆的部分设施划归给图书馆，馆舍面积增加到1080平方米，工作人员增至5人。图书馆增设了采编室、外借处、少儿阅览室和成人阅览室，同时年事业经费提升至1.25万元，藏书量达到了3.7万册，标志着图书馆进入了新的发展阶段。