Budowę zachowanego do dziś zamku rozpoczęto około połowy XV wieku, w okresie gdy właścicielem Szydłowca był Stanisław Szydłowiecki, późniejszy /od 1567 roku/ marszałek dworu królewskiego. Jednak prowadzone w latach 1962-65 badania wykazały, że na miejscu tym istniała już wcześniejsza budowla, prawdopodobnie warowny dwór, wymieniany w dokumencie z 1427 roku.
Pierwszym etapem budowy murowanego zamku był budynek mieszkalny /obecne skrzydło północne/ i wieża bramna. Całość założenia otoczono prawdopodobnie wałem, zastąpionym następnie przez obwodowy mur. Ulokowanie zamku na wyspie wzmacniało jego obronność.
W latach 1509-32 gdy „panem na Szydłowcu” był Mikołaj Szydłowiecki, zamek przekształcono w renesansową rezydencję. Program użytkowy zamku zmieniono poprzez wprowadzenie pomieszczeń o charakterze reprezentacyjnym, jednocześnie zaniedbując nieco cechy obronne budowli. Zbudowano wówczas trzy jednotraktowe skrzydła mieszkalne, w skrzydle północnym wykorzystując wcześniejszy budynek mieszkalny.
Trudny do definitywnego ustalenia jest okres powstania loggii, dobudowanej do zewnętrznej, wschodniej elewacji zamku. Gdyby rzeczywiście loggię tę wybudował Mikołaj Szydłowiecki, byłby to najwcześniejszy przykład takiego rozwiązania w polskiej architekturze.
Od roku 1619 zamek objęli w posiadanie Radziwiłłowie. Zgodnie z ówczesnymi zwyczajami natychmiast przystąpiono do prac budowlanych, których owocem było dostawienie do wschodniego skrzydła czterobiegowej klatki schodowej i nadbudowanie wieży bramnej, w której umieszczono kaplicę. Z tego okresu pochodzi także wczesnobarokowy portal na dziedzińcu /rok 1629/, a w sali pierw-szego piętra ozdobny kominek.
W wieku XIX zamek wykorzystywany był na cele przemysłowe, służąc właścicielom jako browar. W 1915 roku z dachu zdjęto nawet dachówkę, aby pokryć nią kościół parafialny. W roku 1949 rozpoczęto prace nad zabezpieczeniem zamku, później, po przeprowadzeniu gruntownych badań archeologicznych, dokonano jego pełnej odbudowy.
Od 1968 roku w zamku otwarto Oddział kieleckiego Muzeum Świętokrzyskiego, przekształcony w 1976 roku w samodzielne Muzeum Ludowych Instrumentów Muzycznych. Jest to pierwsza w świecie specjalistyczna placówka, swym zasięgiem obejmująca teren całego kraju, ukazująca swymi zbiorami obecny stan ludowego instrumentarium polskiego. Uzupełnieniem ekspozycji są nagrania ilustrujące brzmienie poszczególnych instrumentów, całych kapel, a także wywiady z ludowymi artystami.