Muzeum mieści się w dwóch budynkach: dawnej Słodowni, popularnie zwanej Podzamczem oraz w dawnym Gimnazjum. Nazwa pochodzi od Gimnazjum Miejskiego (XVI w.), które było jednocześnie pierwszym polskim gimnazjum humanistycznym. Powstało na terenie gdzie od 1458 roku znajdowały się zabudowania klasztoru Brygidek. Obecnie obiekt służy elbląskiemu muzeum.