Pierwotnie w budynku mieściła się międlarnia (suszarnia lnu i konopi wraz z warsztatem gdzie słoma zostaje poddana obróbce poprzez gniecenie i łamanie łodyg w międlarkach) jako element gospodarstwa utrzymującego zamek. W XIX w. w budynku i zbudowanych klatkach mieściła się psiarnia książęca (Hundzwinger). W latach 30., po sprzedaży stadniny przez Hochbergów budynek dawnej psiarni przebudowano na dom ogrodnika Hugo Scholza, dla którego księżna ufundowała także gołębniki koło domu. Ogrodnik Scholz służył księżnej do jej śmierci w 1943 roku i był po 1945 roku powiernikiem informacji o miejscu przeniesienia szczątków księżnej (na cmentarz ewangelicki na Szczawienku). W niewiadomych okolicznościach dom został zrównany z ziemią, a jego ruiny zasypane. W 2020 roku podczas prac porządkowych w parku postanowiono o odkopaniu pozostałości dawnego Domu Ogrodnika (moose wg informacji od Mateusza Mykytyszyna - Prezesa Fundacji Księżnej Daisy von Pless)