Teren u zbiegu ulic Beskidzkiej i Zamkowej według tradycji nazywany był „Starym Zamkiem”. To tu do 1936 r. znajdowały się resztki murów średniowiecznego budynku mieszkalnego. Prawdopodobnie była to siedziba, o charakterze obronnym, właścicieli Górnych Kóz. Do pocz. XVIII w. Kozy Górne i Dolne były odrębnymi jednostkami administracyjnymi i należały do odrębnych rodów szlacheckich. Według ustnych przekazów istniejące przed II wojną światową resztki murów stanowiły fragment baszty. Pierwsza wzmianka historyczna o wsi Kozy pochodzi z 1325 r. Wieś stanowiła własność rycerską, stąd zapewne musiała istnieć średniowieczna siedziba właścicieli Kóz. Pierwszym znanym właścicielem Kóz historycznie potwierdzonym był notowany w 1379 r. Żegota który nosił przydomek Dwiekojski. Można przypuszczać, że mógł być rycerzem służącym władcy ziemi oświęcimskiej księciu Janowi III. W roku śmierci księcia Jana, ale jeszcze za jego życia niejaki Przeszkon, nazywany również Przeszkiem bądź Przemkiem, dziedzic wsi Dwiekozy zapisał tworzącemu się klasztorowi dominikańskiemu w Oświęcimiu, jedną grzywnę czynszu ze swojej wsi rocznie. W XVIII w. w posiadanie całych Kóz weszła rodzina Jordanów herbu Trąby. Ich siedzibą był dwór szlachecki znajdujący się w miejscu dzisiejszego Pałacu Czeczów. Zapewne w tym okresie tzw. zamek w Górnych Kozach stracił na znaczeniu. Przy nieużytkowanym w XVIII i XIX w. „zamku” funkcjonował jeszcze folwark.