Kamienna kapliczka słupowa z obrazem Matki Bożej Częstochowskiej została ufundowana w 1884 r. przez Juliusza Beinlicha (1830-1908) nadleśniczego dóbr Kozy. Według podania, kapliczka była wotum za ocalenie przed wilkami. Beinlich idąc przez las został napadnięty przez wilki. Aby się ratować wspiął się na drzewo i zaczął się modlić o ratunek. Wilki po pewnym czasie odstąpiły. Julisz Beinlich był także fundatorem bocznego ołtarza w kościele parafialnym śś. Szymona i Judy w Kozach. Beinlich zmarł w 1908 r. i został pochowany na cmentarzu parafialnym w Kozach. Kapliczka na Przełęczy u Panienki jest stały punktem odpoczynku w związku z krzyżującymi się tu szlakami turystycznymi: czarnym z Małych Kóz, żółtym z Kóz, czerwonym ze Straconki oraz „papieskim”. W 2020 r. kapliczka na Przełęczy została zdewastowana. Nieopodal znajduje się także tzw. Źródełko Maryjne, odkryte ok. 1980 r. przez Stanisława Jurzaka, który poszukiwał źródła aby móc nabrać wody. W czasie kolejnych odwiedzin tego miejsca stopniowo obkładał kamieniami źródło. Tak zostało spopularyzowane źródełko nazwane maryjnym ze względu szczególny kult Matki Bożej w tej okolicy.