Zygmunt III Waza w 1609 r. z dobytkiem królewskim i dworem popłynął barkami Wisłą do Warszawy. A potem to już było Wawelowi przez 100 lat tylko pod górkę. W 1803 r. wstawiono do komnat królewskich prycze dla żołnierzy austriackich. Potem te prycze zajęli bezdomni. Pensjonariusze schroniska dla ubogich dostali budynek kuchni królewskich i komnaty w północno-wschodnim narożniku zamku. W sumie na terenie pałacu przebywało około 480 bezdomnych, a nawet w 1831 urządzono tu szpital dla chorych na cholerę. A potem wróciło na swoje prycze wojsko austriackie. Aż do 1880 roku, gdy Sejm galicyjski ofiarował Wawel na rezydencję cesarską dla Franciszka Józefa I. Cesarz przyjechał do Krakowa 1 września 1880 r. Z racji braku w Krakowie monarszej rezydencji zamieszkał u rodziny Potockich w pałacu Pod Baranami. W kolejnych latach zmilitaryzowaną nadal rezydencję Habsburgów odwiedzili co prawda następcy tronu - arcyksiążę Rudolf z żoną Stefanią (1887) i arcyksiążę Karol Ludwik (1894) - ale prace konserwatorskie trwały tylko w katedrze. Tylko gdzie mieszkali, bo na pewno nie w "swojej" nowej rezydencji na Wawelu razem ze swoimi żołnierzami. W 1905 wojsko zaczęło opuszczać Zamek, co trwało do 1911 r. gdy ostatni żołnierz opuścił swoją pryczę. W 1912 r. zamek odwiedził jedyny następca tronu, który przeżył cesarza Franciszka Józefa - arcyksiążę Karol Franciszek. Jednak i on nie skorzystał z przyszłej rezydencji.