W I poł. XIII w. istniał tu zamek myśliwski Henryka Brodatego, a następnie komandoria zakonu templariuszy. Po kasacie zakonu w 1312 r. majątek przejęli joannici. Komturami w tym czasie byli m.in. Kasper von Hobergk i Franz von Reibnitz. Dobra pozostały własnością joannitów do sekularyzacji w 1810 r., kiedy to przejęło je państwo pruskie. W międzyczasie zamek został zniszczony w okresie wojny trzydziestoletniej, ale zaraz potem odbudowany. Kolejnemu upadkowi uległ podczas pożaru w 1706 r. Wtedy to, z inicjatywy komtura von Dittrichstein rozpoczęto budowę obecnego pałacu. Ukończono ją w 1711 r. W roku 1814 Fryderyk Wilhelm III darował Oleśnicę Małą feldmarszałkowi Hansowi Davidowi Ludwigowi hrabiemu Yorck von Wartenburg, jako nagrodę za chwalebny udział w wojnie z Napoleonem. On to znacznie rozbudował założenie w latach 1815 - 1820. Kolejnej rozbudowy dokonał w latach 1904 - 1905 doktor Heinrich hrabia Yorck von Wartenburg. Powstała wtedy wieża (tzw. wieża Zofii), gdzie znajduje się główne wejście oraz oranżeria na całej długości kościoła. W rękach rodziny majątek pozostał do II wojny światowej. Ostatnim właścicielem był Peter hrabia Yorck von Wartenburg, członek tzw. Kręgu z Krzyżowej i przyjaciel Helmuta Jamesa hrabiego von Moltke. Po wojnie pałac upaństwowiono. Obecnie jego gospodarzem jest Zakład Doświadczalny Hodowli i Aklimatyzacji Roślin w Oleśnicy Małej.