Historia domu nie jest do końca jasna - niektóre źródła informują, iż był to stary dworek myśliwski, w którym po zakończeniu polowania myśliwi odpoczywali i biesiadowali. Według innych relacji obiekt ten powstał na początku XVIII stulecia, w analogicznym okresie jak świątynia, być może jako dom pielgrzyma. W Domu św. Szymona, który pełnił funkcję kaplicy znajdowało się wiele ciekawych barokowych rzeźb o motywach religijnych, które miały inspirować pielgrzymów do refleksji i rozważań. Najbardziej znany był XVI wieczny zespół całopostaciowych rzeźb szkoły włoskiej przedstawiających Ostatnią Wieczerzę.