Wzniesiony został na miejscu dawnego XI-wiecznego obronnego grodu. Przy jego budowie wykorzystano mury kolejnych znajdujących się tu budowli - zamku książęcego i biskupiego. Całkowita przebudowa nastąpiła w 1861 w formie klasycystycznej.