W miejscu dzisiejszego pałacu pierwotnie istniały dwory drewniane, swoją historią sięgające czasów prelokacyjnych miasta. Pałac murowany został wybudowany przed 1730 r. przez Kazimierza Czartoryskiego. W kolejnych latach remontowany i przebudowany. Pomiędzy 1769 i 1770 generalny remont pałacu przeprowadził Michał Fryderyk Czartoryski, syn Kazimierza Czartoryskiego, a w latach 1779-1781 na zlecenie Aleksandry Ogińskiej pałac gruntownie przebudował architekt Stanisław Zawadzki. Dzięki tej przebudowie pałac otrzymał klasycystyczną bryłę i wystrój. Bywali tu przedstawiciele znamienitych polskich rodów: Braniccy, Potoccy, bohaterzy narodowi, w tym Tadeusz Kościuszko, poeci epoki oświecenia: Julian Ursyn Niemcewicz, Franciszek Kniaźnin, Franciszek Karpiński, a także król Stanisław August Poniatowski. Po śmierci Aleksandry Ogińskiej majątek po niej odziedziczyła Izabela Czartoryska, która w 1807 r. zamieniła dobra siedleckie na dobra rządowe na Lubelszczyźnie. Od tego czasu pałac stał się obiektem użyteczności publicznej. W czasach II wojny światowej został spalony. W trakcie odbudowy w 1950 r. przekształcono w stopniu znaczącym wnętrza, dostosowując je do potrzeb nowych użytkowników. W 1953 r. wzniesiono, na dziedzińcu pałacu od frontu pomnik w kształcie sarkofagu poświęcony poległym w walkach o wyzwolenie narodowe i społeczne w latach 1939-1945. Obecnie pałac jest administrowany przez Akademię Podlaską, żródło: