Pierwsza rezydencja Firlejów powstała w Dąbrowicy na początku XV w. Jej gruntownej przebudowy dokonali w latach 1553-1565 r. Piotr i Mikołaj Firlejowie. Rozbudowa na rezydencję o charakterze pałacu, miała miejsce w latach 1610-1630. Zachodnie skrzydło posiadało na narożach trzy wieloboczne wieże, natomiast elewację wschodnią stanowiła dwukondygnacyjna galeria arkadowa, zwieńczona attyką. W 1694 r. pałac uległ spaleniu, na początku XVIII w. splądrowali go Szwedzi i od tego czasu zaczął popadać w ruinę. W połowie XIX w. rozebrano jedną z wież, drugą w końcu tego stulecia. W latach 1956-1957 miała miejsce konserwacja zachowanej wieży południowo-wschodniej i rekonstrukcja jednej z arkad galerii. W końcu lat 70. XX w. wybudowano Międzynarodowy Dom Spotkań w którego bryłę wkomponowano zabytkową wieżę.