Miesto na križovatke dnešných ulíc Beskidzka a Zamkowa bolo tradične nazývané „Starý zámok”. Do roku 1936 sa tu nachádzali pozostatky múrov stredovekej obytnej budovy. Predpokladá sa, že bolo to opevnené sídlo zemepánov dediny Kozy Górne. Do začiatku 18. storočia tvorili Kozy Górne a Dolne samostatné správne celky a patrili odlišným šľachtickým rodom. Traduje sa, že pozostatky hradieb, ktoré existovali ešte do 2. svetovej vojny, boli fragmentom bašty. Prvá zmienka o dedine Kozy pochádza z roku 1325. Vtedy bola táto dedina rytierskym majetkom a preto sa tu zrejme nachádzalo stredoveké sídlo jej zemepánov. Prvým známym a v roku 1379 historicky doloženým zemepánom dediny Kozy bol Żegota, ktorý používal prídomok Dwiekojski. Môžeme predpokladať, že bol rytierom kniežaťa Jána III. Osvienčimského. V roku 1405, ešte pred smrťou kniežaťa Jána III., istý Przeszkon, nazývaný aj Przeszko alebo Przemek, zemepán dediny Dwiekozy zapísal v Osvienčime v prospech vznikajúceho dominikánskeho kláštora jednu hrivnu ročne zo svojej dediny. V 18. storočí patrila celá dedina Kozy šľachtickej rodine Jordanovcov, ktorých sídlom bola šľachtická kúria nachádzajúca sa na mieste dnešného kaštieľa Czeczovcov. Pravdepodobne v tomto období stratil tzv. zámok v Kozách Górných svoj význam. Pri neobývanom „zámku” ešte v 18. a 19. storočí fungoval panský dvor.