V polovici 19. storočia sa na mnohých miestach v Haliči a v rakúskom Sliezsku ťažila tzv. sideritová ruda, z ktorej sa získavalo železo. Ruda sa ťažila povrchovou metódou. V Małých Kozách bolo v okolí dnešnej Spacerowej ulice tiež malé ťažobné pole. Nájomcami tohto areálu boli żywiecki Habsburgovci: arcivojvoda Albrecht Frederik (1817 – 1895) a pravdepodobne v skoršom období aj jeho otec – arcivojvoda Karol Ľudovít (1771 – 1847). Ruda bola odtiaľto dopravovaná povozmi do železiarne vo Węgierskej Górke. Traduje sa, že na ťažobnom poli bola tragická nehoda – v dôsledku zosuvu pôdy bola zasypaná skupina robotníkov, ktorých sa nepodarilo zachrániť. Prevádzka ťažobného poľa v Małých Kozách bola ukončená ešte v 19. stor. V roku 1896 Michał a Anna Frączkiewiczovci, ktorí na tomto mieste žili, postavili na mieste starej kaplnky zhotovenej z balvana pieskovca murovanú s výklenkom. V roku 1900 kaplnku slávnostne posvätil miestny farár – kňaz Józef Błonarowicz. Na túto slávnosť prišli procesie obyvateľov z okolitých dedín (Kôz, Bujakowa, Pisarzowic a Straconky). Od polovice 70. rokov 20. stor. sa začali pri kaplnke sláviť sväté omše. Najprv iba v niektoré sviatky a potom v každú nedeľu. Na tomto mieste sa zrodila myšlienka výstavby kostola v Małých Kozách. Pre uľahčenie slávenia omší bol pred kaplnkou postavený pomerne veľký prístrešok, čo podstatne zmenilo jej pôvodný vzhľad. Bolo tiež nainštalované elektrické osvetlenie. Na oltári v kaplnke je obraz Madony s dieťaťom z 19. storočia.