Na wzniesieniu na początku XIV w. pierwsi znani nam właściciele dóbr racławickich wznieśli siedzibę obronną. Fundatorami budowli byla rodzina Karwacjanów herbu Zadora. Na początku była to budowla drewniana a później zastąpiona murowaną. Już w połowie XV w. po zamku nie było śladu. Wady konstrukcyjne i słaby materiał (kamień marglowy) dokonały zniszczenia. W trakcie badań archeologicznych w latach 1978-1980 oraz 1983-1986 w ruinach zamku znaleziono miedzy innymi : srebrny denar Władysława Łokietka, 5 zbrojników pancerza, kościane szpile i szydła. Pośród fundamentu Grodziska rośnie 5 lip, posadzonych w 1894 r.. dla uczczenia 100-nej rocznicy Bitwy pod Racławicami. Symbolizują one polskich genarałów walczących w powstaniu kościuszkowskim : Tadeusza Kościuszkę, Antoniego Madalińskiego, Jana Ślaskiego, Józefa Zajączka i Ludwika Mangeta. Wśród lip stał krzyż postawiony w maj 1918 r. przez młodzież uczestniczącą w manifestacji pod przywództwem Stefana Żeromskiego. W 1955 na skutek zmurszenia krzyż przewrócił się. W roku 1982 w ukryciu, nocą postawiony został krzyż dębowy.