Cmentarz został założony w 1660 roku i chowano tu zmarłych mieszkańców miasta do 1869 roku. Wówczas (z powodu braku miejsca na pochówki) założono nowy cmentarz Ost Friedhof (Cmentarz Wschodni), dziś przy ulicy Lubelskiej Cmentarz Komunalny. Po zakończeniu działań wojennych Stary Cmentarz do 1956 roku stał się miejscem grzebania zmarłych gubinian, do czasu likwidacji niemieckich nagrobków na Cmentarzu Wschodnim.