Początki osadnictwa grodowego na lewobrzeżnym Wrocławiu wiążą się powszechnie z osobą Henryka I Brodatego, który prawdopodobnie wzniósł tam drewniany dwór. Po śmierci jego syna Henryka Pobożnego dwór lewobrzeżny objęła wdowa, księżna Anna, mieszkając w nim aż do śmierci w 1265 roku. W okresie tym na terenie grodu istniało już budownictwo murowane, o czym świadczy wzmianka z roku 1253, mówiąca o ceglanej wieży, i następna - z 1304 - wspominająca o 39 markach wpłaconych przez miasto na budowę zamkowej bramy. Przypuszczalnie najstarszy trzon zespołu obronnego skupiony był wokół trójkątnego dziedzińca i składał się z pałacu, kuchni oraz budynków dworu z cylindryczną wieżą. Północnym obwodem przylegał on do Odry, a od zachodu i południa otaczały go tereny podzamcza, w którego zabudowie znajdowały się m.in. dalsze dwie cylindryczne wieże. Zasadnicze ukształtowanie założenia rezydencjalnego nastąpiło w latach 1346-1378 z inicjatywy cesarza Karola IV Luksemburskiego, który wielokrotnie odwiedzał miasto. Z jego polecenia ok. 1350 roku wzniesiono wieżę, zwieńczoną bogatym hełmem flankowanym czterema bocznymi wieżyczkami. Kolejne 300 lat funkcjonowania warowni jest słabo poznane, a początek jej upadku przyniósł rok 1659, kiedy na polecenie cesarza Leopolda I zamkowy obszar przekazano jezuitom. W 1689 rozebrano skrzydło południowe, na miejscu którego zakonnicy wybudowali kościół. W latach 1728-31 zlikwidowano skrzydło zachodnie i stajnie. Główny budynek pałacu cesarskiego służył jako mieszkanie i przetrwał do czasu budowy konwiktu św. Józefa w latach 1734-55. Najdłużej istniało skrzydło północne, rozebrane w latach 1851-58. Pozostałości lewobrzeżnego zamku znajdują się dziś pod barokowymi budowlami Uniwersytetu Wrocławskiego, a jedynym ocalałym reliktem średniowiecznej książęcej warowni pozostaje skąpy fragment skrzydła wschodniego, służący obecnie jako zachrystia kościoła (Najświętszego Imienia Jezus).