Renesansowy dwór w Lipie Średniej powstał w XVII w. Ok. 1870 r. przebudowano go na trzykondygnacyjny pałac z dużym tarasem przy wejściu ogrodowym. Na przełomie XVIII i XIX w. przy rezydencji powstał regularny ogród i park o pow. 4,4 ha. Niegdyś istniały także pokaźne zabudowania gospodarcze z XVIII i XIX w.
Obecnie pałac znajduje się w stanie dogorywającej ruiny.