Pierwsze wzmianki o dworze z folwarkiem w Budziwojowie pochodzą z 1789 roku. Ówcześnie na terenie posiadłości znajdowały się: młyn wodny, karczma oraz kowal.
Od roku 1802 dwór przeszedł we władania rodziny Teichmannów. Pałac wzniesiono w latach 40. XIX wieku wykorzystując najprawdopodobniej pozostałości po wcześniejszym dworze.
Następnymi właścicielami pałacu była rodzina von Hederich. Otrzymała ona posiadłość w spadku (żona byłego właściciela z domu była Teichmann). Rodzina mieszkała w nim do roku 1920. Na jej życzenie dobudowano w pałacu wieżę oraz założono mały park.
W parku posadzono kasztanowce białe, dęby oraz wiązy szypułkowe oraz lipy drobnolistne. Najstarsze dęby mają nawet 300 lat. Dwa z nich są pomnikami przyrody, nazywają się „Gerwazy” i „Protazy”.
Na terenie całego folwarku znajdują się oprócz pałacu: trzy budynki mieszkalne, budynki gospodarcze, stajnia, magazyn zbożowy, owczarnia oraz warsztat.
Obecnie obiekt (pałac + folwark) o powierzchni całkowitej 960 m2 .
W internecie znajduje się także Koncepcja Zagospodarowania Zespołu Pałacowo-Ogrodowego, która proponuje zagospodarowanie posiadłości na „Dom Spokojnej Starości” lub hotelu z restauracją. Więcej informacji na ten temat znajduje się na stronie: