Den äldsta delen av biblioteket, det vill säga fyrkanten, byggdes 1965. Fyrkanten ritades av arkitekten Erik Uluots. Byggnaden blev känd i arkitektkretsar på grund av sin blandning av klassicism och modernism.

Tillbyggnaden, det runda huset, tillkom efter en arkitekttävling. Vinnare blev arkitektbyrån Schmidt, Hammer och Lassen från Århus, Danmark. Byggnaden stod klar i juni 2003 efter två års byggande.

Stadsbiblioteket renoverades 2019.