Kapliczka „pod Panienką” powstała w 1908 r. z inicjatywy i fundacji Józefy Naglik, żony ówczesnego wójta Jędrzeja Naglika. Prawdopodobnie ona również była fundatorką figury Matki Bożej Niepokalanej, która została wykonana w Tyrolu. Oprócz kaplicy Józefa Naglik wykupiła przyległą łąkę na cele kultu religijnego. Ok. 1910 r. dokonano zamiany figury z kaplicy na podobną, która znajdowała się w ołtarzu bocznym kościoła parafialnego a ufundowaną przez Teresę Reczko. Przy kapliczce odprawiane są msze święte - tradycyjnie trzy razy w roku: 3 maja, 15 sierpnia oraz w pierwszą niedzielę października. Do kapliczki tradycyjnie organizowano procesje. Zakazano ich w okresie okupacji hitlerowskiej oraz w czasach stalinowskich. Na krótko powrócono do nich w poł. lat 50., jednak regularnie odbywają się one od lat 90. W 2000 r. figura Matki Bożej z kapliczka został ukoronowana koronami biskupimi. Aktu tego dokonał kardynał Franciszek Macharski, w latach 1950-1956 koziański wikary. Z okazji tej uroczystości przed kapliczką zamontowano zadaszenie oraz miejsca do siedzenia. W 2008 r. z okazji stulecia powstania kapliczki wybudowano przy niej dzwonnicę. Sama kapliczka i jej otoczenie a także figura Matki Bożej nawiązują do miejsca kultu maryjnego w Lourdes w Francji. Obok kapliczki znajduje się źródło wody, poprowadzonej z pobliskiej leśnej studni. Nad drzwiami kapliczki umieszczono kamienną tabliczkę z napisem „Boże zbaw Polskę”. W latach 40. treść napisu zmieniono na „Matko nie opuszczaj nas”.