Linia E-F Głównego Rynku między ul. Grodzką i ul. Wiślaną, a wcześniej ul. Bracką zaczyna się kamienicą Pod św. Anną.
Pierwsze pisemne wzmianki o kamienicy w miejscu kamienicy Pod Św. Anną pochodzą z 1373. Do dzisiaj z tego okresu zachowały się gotyckie piwnice, położone na głębokości 5 metrów. Renesansowy wystrój zawdzięcza ona przebudowie w XVI w. W tym okresie kamienica posiadała drewnianą kładkę, która łączyła ją z kamienicą Pod Złotą Głową.
Podczas pożaru miasta w 1850 roku kamienica została doszczętnie strawiona przez ogień. To po tym roku uzyskała obecne wnętrze i klatkę schodową ze zwieńczeniem ozdobionym freskami przedstawiającymi sceny z Chin. Również z tego okresu pochodzą freski i zdobienia ścian Sali Arkadowej na I piętrze.
Podczas ostatniej przebudowy, prowadzonej przez Adolfa Szyszko-Bohusza w 1938 roku, kamienica uzyskała znany dzisiaj wygląd fasady. Wnętrze zostało ostatni raz gruntownie odnowione w latach 1974 – 1978.
22 czerwca 1978 roku nazwa kamienicy została oficjalnie zmieniona na Dom Polonii.
Do 2005 kamienica posiadała czynne przejścia na każdej kondygnacji do sąsiedniej Kamienicy Celestyńskiej (ul. Grodzka 1)