Czas powstania pałacu, który wzniesiony został na miejscu wcześniejszego grodu, nie jest znany. Brak na ten temat przekazów źródłowych. Pierwsza udokumentowana wiadomość o zamku pochodzi dopiero z roku 1588 i wiąże się z nabyciem go przez rodzinę Kotwiczów, która władała nim i miastem do lat trzydziestych XVIII wieku. Kolejnym właścicielem był możny ród Bredelów. Wiadomym jest także, że pałac przebudowany został w końcu XVI wieku i ponownie około 1737 roku. Nie ulega wątpliwości, że zamek istniał już w średniowieczu. Istnienie gotyckich reliktów ujawnia analiza planu obecnego obiektu.