W okresie budowy drogi „cesarki” (XVIII w.) powstała w centrum wsi karczma „Pod Koniem”. Pojawia się po raz pierwszy wc1782 r. w spisie dworskich budynków. Karczmarz Jan Byrski dysponował 60. gąsiorami na piwo i 60. butelkami na wino. W XIX w. dzierżawcami karczm w Kozach byli zazwyczaj karczmarze pochodzenia żydowskiego. Ostatnim w karczmie „Pod Koniem” był Emil Blumenfeld, który prowadził także rozlewnię piwa. Po nim od 1904 r. karczmę prowadził Franciszek Hołuj. Karczma przed głównym wejściem posiadała charakterystyczny ganek z ławkami, a nad nim malowany na desce wizerunek konia oraz napis „GOSPODA KONCESJONOWANA”. W 1912 r. dwór sprzedał karczmę „Pod Koniem” Karolowi i Annie Hałatom z Kóz. Od 1925 r. karczmę prowadził Jan Hałat, który do starej części budynku dobudował dużą salę od stronu południowej. Od 1942 r. właścicielem karczmy był, prowadzący piekarnię Leopold Schubert. Po II wojnie światowej karczmę przejął Skarb Państwa, jako dobro porzucone i poniemieckie. W budynku karczmy ulokowano Dom Kultury, Bibliotekę Gromadzką, Posterunku Milicji Obywatelskiej, Komitet Gminny PZPR, Klubu Prasy i Książki „Ruch”, klub Związku Młodzieży Wiejskiej, Izbę Pamiątek. Dziś dawna karczma „Pod Koniem” jest główną siedzibą Domu Kultury w Kozach oraz liczny stowarzyszeń społecznych. W 2010 r. przeprowadzono remont, po którym budynek otrzymał charakterystyczną wieżę zegarową z kurantem.