Pałac pochodzi z przełomu XIII i XIV w. został zbudowany przez Cystersów z Jemielnicy. Przepiękna budowla znajdująca się w żyrowskim paku zwana jest przez miejscową ludność zamkiem. Lecz po względem architektonicznym jest to pałac, gdyż stanowi reprezentacyjną budowlę mieszkalną, pozbawioną – w przeciwieństwie do zamku – cech obronnych.
Pierwszymi właścicielami pałacu byli Zyrowscy. Ród Zyrowskich należał do śląskiej szlachty pochodzenia polskiego. Kolejnym władcą żyrowskiego pałacu jest ród Gaszynów, który wywodzi się spod Wielunia. W pałacu żyrowskim Gaszynowie ciągle coś dobudowywali, poszarzali. Ostatni remont został przeprowadzony w 1781 roku. W 1852 roku, ostatni z Gaszynów - Leopol, sprzedaje Żyrowę posłowi Królestwa Pruskiego, Max Friedńch Carl Franz Grafen von Hatzfeld – Schoenstein i generałowi August Grafen von Nostiz. Następnie dobra żyrowskie wraz z pałacem sprzedano – w 1864 roku – braciom Goedecke, którzy w 1868 roku odsprzedali ją Sędziemu Sądu Najwyższego – Edurd Guradze. Ostatni właściciele nie dbali o pałac, gdyż nie inwestowali ani też nie przeprowadzali remontów. Przez kilkanaście lat pałac w Żyrowej był nie zamieszkały. Dopiero w 1899 roku bogaty Amerykanin kupił żyrowski pałac w prezencie ślubnym dla swojej córki, dodając jeszcze do posagu pół miliona ówczesnych niemieckich marek. W ten właśnie sposób rodzina Francken - Sierstorpff stała się właścicielem pałacu. Młoda amerykanka bardzo lubiła stare meble i obrazy. Pałac szybko zapełnił się stylowymi komodami, szafami, stołami i krzesłami. W roku 1899 oraz w latach 1904 - 1911 włożono sporo pieniędzy w remont chcąc doprowadzić pałac do starej świetności. W czasie II wojny światowej w żyrowskim pałacu znajdowało się archiwum wojskowe III Rzeszy, dlatego był on dobrze strzeżony i nie ucierpiał na skutek działań wojennych. Kiedy wojska rosyjskie wkroczyły do Żyrowej, zamierzali również wejść do pałacu. Ówczesny zarządca pan Stanusch nie dał im kluczy, wiec go zastrzelono. Wnętrze pałacu zostało zrabowane i zdewastowane. Pod koniec 1945 roku, w wyniszczonym pałacu zorganizowano dom dla sierot - ofiar powstania warszawskiego, a następnie prewentorium dla dzieci. Administracyjnie pałac należał do Zespołu Opieki Zdrowotnej w Krapkowicach, a później w Kędzierzynie-­Koźlu. Zła sytuacja finansowa Zespołu Opieki Zdrowotnej doprowadziła do zamknięcia prewentorium ( w 1982 roku ), co oznaczało pozostawienie pałacu bez właściciela.
W 1985 roku nowym właścicielem pałacu zostaje " REMAK " Firma "REMAK " sama nie była w stanie ponieść kosztów remontu. Brygady remontowe opuściły pałac .Wykradziono wszystko co się dało: stare piece kaflowe ( został tylko jeden), centralne ogrzewanie, rynny, klepkę, okna, a nawet dzwon z 1539 roku, nakrycia do studzienek kanalizacyjnych (żródło: .