Unweit vom gräflichen Schloss entfernt stand einst ein halbverfallenes Schlössl, das von den Schiffleuten als Ort der bösen Geister gemieden wurde. Diesen Platz wählte der fromme Graf Conrad Balthasar von Starhemberg aus, um auf dem Felsen eine Kapelle, getreu der Grabeskirche zu Jerusalem, zu bauen. 1667 wurde hier die erste heilige Messe abgehalten. Zwei Serviten aus Wien versahen die Seelsorge in der Schlosskirche.

Aber auch dem Andenken der Geburt Christi wollte Graf Conrad Balthasar eine Kirche widmen. Nach den genauen Plänen der Geburtskirche in Bethlehem entstand 1675 auf der Klippe des Felsens unter der Grabeskirche ein Heiligtum, das bis heute in Europa einzigartig ist. Ehrfurcht flößen die Muschelgrotte und die unterirdischen Räume der Geburtskirche ein. Dieser Eindruck löst sich erst, wenn man die einfache, ohne Prunk gehaltene Klosterkirche betritt. Der Hochaltar, der heiligen Rosalia geweiht, verdeckt den niedrigen Grotteneingang in die heilige Grabeskapelle. Zu beiden Seiten des heiligen Grabes führen zwei Türen ins Freie, von wo man herrliche Rundsicht genießt. Das Klostergebäude selbst wurde 230 Jahre lang von Serviten betreut. Wegen Priestermangels übernahm 1904 die Tiroler Provinz dieses Ordens das Kloster.