Kaplnka „pod Panienkou” (Pannou Márie) vznikla v roku 1908 na podnet a s finančnou podporou Józefy Naglik – manželky vtedajšieho starostu Jędrzeja Naglika. Pravdepodobne ona kúpila aj sochu Nepoškvrnenej Panny Márie vyrobenú v Tirolsku. Józefa Naglik nielen finančne prispela na kaplnku, ale aj kúpila na účely spojené s náboženským kultom susednú lúku. Okolo roku 1910 bola socha z kaplnky vymenená za podobnú, ktorá sa nachádzala v bočnom oltári farského kostola a bola darovaná Teresou Reczko. Pri kaplnke sa tradične trikrát do roka slávia sväté omše: 3. mája, 15. augusta a v prvú októbrovú nedeľu. Tradíciou boli aj procesie ku kaplnke. V období nacistickej okupácie a stalinizmu boli zakázané, neskôr sa na krátky čas obnovili v polovici 50. rokov a nanovo sa pravidelne konajú až od 90. rokov 20. storočia. V roku 2000 kardinál Franciszek Macharski korunoval sochu Panny Márie z kaplnky biskupskými korunami. Kardinál Macharski bol v rokoch 1950 – 1956 pomocným kňazom v Kozách. Pri príležitosti tejto slávnosti bol pred kaplnkou postavený prístrešok a miesta na sedenie. V roku 2008 na 100. výročie vzniku kaplnky pri nej vznikla zvonica. Samotná kaplnka, jej areál a socha Panny Márie nadväzujú na mariánske pútnické miesto Lurdy vo Francúzsku. Pri kaplnke je zdroj vody, napájaný z neďalekej lesnej studničky. Nad dverami kaplnky bola pôvodne umiestnená kamenná tabuľa s nápisom „Bože, spas Poľsko”. V 40. rokoch 20. storočia bol nápis zmenený na „Matka, neopúšťaj nás”.