Kamennú stĺpovú kaplnku s obrazom Panny Márie Čenstochovskej dal v roku 1884 postaviť Juliusz Beinlich (1830 – 1908), lesmajster veľkostatku Kozy. Traduje sa, že kaplnka bola poďakovaním za záchranu pred vlkmi. Vraj na Beinlicha, ktorý išiel lesom, zaútočili vlky. Aby sa zachránil, vyliezol na strom a začal sa modliť. Jeho modlitby boli účinné a vďaka ním po istom čase vlci odišli. Juliusz Beinlich, ktorý finančne prispel aj na bočný oltár vo farskom kostole sv. Šimona a Júdu v Kozách, zomrel v roku 1908. Je pochovaný na farskom cintoríne v Kozách. Kaplnka na sedle u Panienky (Panny Márie) je populárnym miestom na oddych, pretože stojí na križovatke turistických chodníkov: čierneho z časti Małe Kozy, žltého z Kôz, červeného z časti Bielska-Białej Straconka a „pápežského”. V roku 2020 niekto kaplnku cielene poškodil. V jej blízkosti sa nachádza tzv. Źródełko Maryjne (Mariánsky prameň), ktoré objavil okolo roku 1980 Stanisław Jurzak, keď hľadal prameň, aby si nabral vodu. Pri ďalších návštevách obložil prameň kameňmi. Postupne sa prameň stal populárnym a vzhľadom na rozšírený mariánsky kult v tomto okolí bol pomenovaný Mariánsky prameň.