Farský kostol sv. Šimona a Júdu bol postavený v roku 1901 podľa projektu Karola Steinhofera. Stavala ho firma Karola Korna z Bielska, ktorá zamestnávala murárov z Kôz. Kostol je orientovaný a vznikol na pôdoryse v tvare kríža. Prelínajú sa v ňom neogotický a neorománsky sloh. Výstavba kostola trvala sedemnásť mesiacov a začala sa po rozobraní starého dreveného chrámu zrejme zo začiatku 16. storočia. Finančné náklady spojené s výstavbou znášali rovnomerne všetci farníci, teda obyvatelia dedín Kozy a Bujaków. Základný kameň pod výstavbu kostola bol posvätený počas odpustovej slávnosti v deň sv. Anny v roku 1900. Kostol bol pôvodne prekrytý hlinenými škridlami ošetrenými horúcou smolou. Chrám je 35 m dlhý, 28 m široký a vysoký 13 m. Veža bez kríža má výšku 45 m. Prvú polychrómiu v interiéri kostola namaľoval Antoni Stopa, druhú v roku 1938 Marian Konarski, tretiu v 70. rokoch 20. storočia prof. Adam Stalony-Dobrzański a štvrtú v roku 2012 Maria Osielczak. Hlavný oltár a aj bočné oltáre sú dielom sochára a rezbára Władysława Druciaka z Krakova. V hlavnom oltári sa nachádza socha Panny Márie z obce Kozy, ktorá bola prenesená z kaplnky pod Panienkou (Pannou Márie). Na fasáde chrámu sú umiestnené pamätné tabule: z roku 1910 k 500. výročiu bitky pri Grunwalde, z roku 1938 s menami padlých a zomrelých vojnových invalidov z obdobia I. svetovej vojny, z roku 1996 s menami obetí 2. svetovej vojny a náhrobná tabuľa majiteľky dediny Kozy Anieli Gołuchowskej rodenej Jordanová z roku 1837.