Die Pfarre baute neben der alten Pfarrkirche am Ende des 16. Jahrhunderts eine St. Ulrichskirche, die am 23. Juli 1588 von Bischof Martin Brenner von Seckau geweiht wurde. Der obere Teil war als Messkapelle eingerichtet, der untere Teil diente als Beinhaus.

Später wurde der obere Teil als Schulzimmer und Wohnung für den Lehrer hergerichtet, aus dem Beinhaus machte Pfarrer Edelbrunner eine Marienkapelle, die 1832 geweiht wurde.

Die heutige Gestalt (Heraklith-Verkleidung) erhielt die so beliebte "Gruftkapelle" 1938.