Być może w Stoszowicach istniał zamek już w okresie średniowiecza. Nie ma jednak na ten temat żadnych dowodów. Wiadomo, ze właścicielami wsi w latach 1221 - 1227 byli Stosz i Leonard, skłóceni z księciem Henrykiem Brodatym przedstawiciele rodu Stoszów. Nie wiadomo nic na temat ich siedziby. W 1278 r. jako właściciela dóbr notuje się członka dworu księcia Henryka IV Probusa, Paszko, syna Piotra Stosza. W XVI w. istniało tu już założenie zamkowe lub dworskie będące siedzibą starostów i wójtów dziedzicznych Ząbkowic Śląskich. Nie wiadomo kto był jego budowniczym. Założenie, oprócz budowli mieszkalnych i gospodarczych, obejmowało system obronny w postaci otaczającej go fosy z wodą i zewnętrznego obwodu murów z półkolistymi bastejami. Budowla była przebudowywana i modernizowana w XVIII w. oraz w latach 1806 - 1815. Od 1820 r. założenie stało się siedzibą rodziny von Strachwitz, która pozostała tu do 1945 r. W latach 1879 - 1882 rodzina ta przeprowadziła kolejną przebudowę. Prace remontowe prowadzono także w 1968 r. Obecnie obiekt jest własnością prywatną.