Muzeum mieści się w pomieszczeniach Starego Ratusza. Już sam zabytkowy budynek stanowi wizytówkę architektoniczną miasta. Ufundowany przez Aleksandrę Ogińską XVIII-wieczny ratusz wzniesiono w latach 1766–1771. Łączy klasyczne piękno z nowoczesną technologią. Największe zainteresowanie wzbudza figura wieńcząca wieżę zegarową, przedstawiającą Atlasa dźwigającego kulę ziemską. Od figury zwanej „Jackiem” bierze się popularne miano ratusza. Wedle legendy imię to nosił lokaj Ogińskich, który pozował do rzeźby. Jednak „Jacek” przyciąga nie tylko wzrok. Został tu też zainstalowany (w 1784 r.) jeden z pierwszych w Polsce piorunochronów, ledwie 32 lata po wynalezieniu tego urządzenia przez Beniamina Franklina. Jest to, podobnie jak bardzo nowoczesny w swoim czasie kurant na wieży, kolejny znak postępowości księżnej Aleksandry.