Teren, na którym później kardynał von Sitzendorf założył swą letnią rezydencję, należał od XVI w. do biskupów wrocławskich. Pałac nie służył jednak zbyt długo biskupom i w następstwie różnych wydarzeń często zmieniał właścicieli. W końcu w 1880 r. rezydencję nabył Egmont Websky rozbudowyjąc ją jednocześnie do kształtu, w którym mniej więcej można ją oglądać do dzisiaj. W czasie drugiej wojny światowej pałac został wypalony, a jego odbudowa nastąpiła w latach 1962-65 wg. proj. Jana Grudzińskiego. Przez długi czas mieścił się w nim Dom Aktora, a ostatnio po generalnym remoncie pałacych stał się siedzibą Muzeum Etnograficznego.