Z której strony nie przejdziesz obok pałacyku - z pewnością zwróci on Twoją uwagę i zachęci, by zatrzymać się tu na dłużej i poznać historię tego miejsca. Wzdłuż alei parku miejskiego pałacyk odgradza mur z charakterystyczną basztą, zwaną plotkarką.
W wiosenne i letnie wieczory ulica Zamkowa rozbrzmiewa muzyką organizowanych w ogrodzie pałacyku koncertów. Przechodniów ciekawi również historyzująca, baśniowa nieco architektura pałacu. Dawniej znajdowały się tu stajnie i ujeżdżalnia należąco do biskupów krakowskich.
W XIX stuleciu budynki wydzierżawił naczelnik powiatu kieleckiego, mecenas i kolekcjoner sztuki, Tomasz Zieliński. W swojej kolekcji, która niestety nie przetrwała w całości do dziś, znajdowało się ponad 400 obrazów, także autorstwa wielkich mistrzów - Caravaggio, Dolabelli czy bracia Breugl.
Obecnie historycy sztuki widzą w pałacyku wątki wielu stylów, które razem tworzą romantyczną rezydencję. Wewnątrz koncerty odbywają się w klasycystycznym salonie. Oranżeria, baszta i oficyna z wieżą mają wiele elementów gotyckich. Można zobaczyć tu także neorenesansowy pawilon. W 2021 do Pałacyku przeniesiono zbiory Muzeum Hammonda, wzbogacając go tym samym w wystawą prezentującą 61 modeli organów, 27 zegarów i stolik do brydża.