Malowniczo położony na sztucznej wyspie wśród rozlewisk rzeki Korzeniówki szydłowiecki zamek to jedna z najpiękniejszych polskich rezydencji magnackich z okresu renesansu.
Z początku (prawdopodobnie już w XIII stuleciu) istniało tu grodzisko z ziemno-drewnianym wałem, w pobliżu którego rozlokowała się wieś Szydłowiec. Ziemie te należały do rodu Odrowążów. Przedstawiciele wywodzącej się z Chlewisk gałęzi rodu - bracia Sławko i Jakub, od nazwy “Szydłowiec” przyjęli w XIV stuleciu nazwisko "Szydłowieccy".
To właśnie syn Jakuba - Stanisław - zainicjował budowę kamiennego, gotyckiego zamku, które do dziś zachowane jest w skrzydle północnym założenia. Następnie powstała wieża bramna i mur obwodowy. Fragment tego muru jest z kolei widoczny w murze kurtynowym po południowej stronie zamku.
Kolejne pokolenie szydłowieckiej rezydencji dokonywało zmian w stylu renesansowym, nadając założeniu formę czworoboku zamkniętego murem kurtynowym. Wtedy to rezydencja nabrała blasku i mogła śmiało konkurować z siedzibami europejskich możnowładców.
Małżeństwo córki Krzysztofa Szydłowieckiego z Mikołajem Radziwiłłem Czarnym sprawiło, że rezydencja przeszła na własność możnych Radziwiłłów. Choć Szydłowiec nie był ich główną siedzibą, jednak ciągle dbali o rezydencję, wciąż ją rozbudowując i upiększając.
Za czasów Radziwiłłów powstała między innymi ciekawa piętrowa loggia między wieżyczkami. Wnętrze zdobiły portale z miejscowego piaskowca, piece obłożone kolorowymi kaflami i misterne polichromowane stropy kasetonowe.
Zamek pełnił funkcję możnowładczej siedziby do początków XIX wieku. Wtedy to przestrzeń między Szydłowcem a zamkiem zmieniła się w park w stylu angielskim.
Ciężkie czasy dla zamku rozpoczęły się, gdy został on sprzedany przez Skarb Królestwa Polskiego. Działał tu browar, a w czasach II wojny światowej w zamku mieszkali uchodźcy z terenów ówczesnej III Rzeszy. Później hitlerowcy urządzili tu miejsce, z którego Żydzi wysyłani byli do obozu zagłady w Treblince.
Po II wojnie światowej na terenie zamku przeprowadzono badania archeologiczne, a w latach 60. XX stulecia rozpoczął się jego gruntowny remont.
Dziś zamek gości wystawę unikalnego Muzeum Ludowych Instrumentów Muzycznych.