Zamek na wysokiej, dominującej nad miasteczkiem górze, wybudował krakowski biskup Jan Grot. Budowę rozpoczęto na początku drugiej ćwierci XIV wieku, bowiem już w roku 1334 Grot wystawił w Iłży dokument z adnotacją „w naszym zamku”. Według badań archeologicznych, wobec nie stwierdzenia starszych znalezisk niż czternastowieczne, przyjmuje się, że na zamkowym wzgórzu nie było żadnej budowli która powstałaby wcześniej. Pierwotny gród iłżecki nadany biskupom krakowskim przez księcia Leszka Białego w 1277 roku, położony był na nizinie, na północ od miasta.
Miasto rozłożone u stóp wzgórza, lokowane przed budową zamku, zostało sprzężone z jego fortyfikacjami w II połowie XIV stulecia, za czasów biskupa Floriana z Mokrska. W tym też okresie nastąpiła pierwsza rozbudowa zamku. Do najstarszych partii, posiadających owalny plan murów obwodowych /zgodnie z ukształtowaniem terenu/ i wysoką, wzniesioną z łamanego kamienia wieżę, dobudowano wysuniętą na zewnątrz wieżę bramną. Być może przebudowano też wówczas wnętrza zamku i jego dziedziniec.
Po pożarze w I połowie XVI wieku zamek odbudował biskup Jan Konarski, a następnie rozbudowywali go inni krakowscy infułaci: około 1560 roku Filip Padniewski i w 1618 Marcin Szyszkowski. Na zachowanej rycinie, zamieszczonej w dziele Pufendorfa z okresu szwedzkiego „potopu”, zamek wysoki i wieża wjazdowa zwieńczone są attykami, zaś zamek niski otaczają bastejowe fortyfikacje. Szwedzi opuszczając zamek zniszczyli go. Dzieła odbudowy dokonał biskup Andrzej Trzebicki w roku 1670.
Ostatni remont odnotowany w kronikach I Rzeczypospolitej odbył się w roku 1782, dzięki biskupowi Kajetanowi Sołtykowi. Później zamek objęli Austriacy, lokalizując tu szpital wojskowy. Na początku XIX wieku zamek spłonął i od tego czasu jest już tylko ruiną. Gdy w 1823 roku miasto zawarło umowę z Levim Sunderlandem /pochodzącym z Anglii/ na budowę fabryki wyrobów ceramicznych, zezwolono na pozyskiwanie budulca z zamkowych ruin. Z tej przyczyny, jak również dzięki „skrzętności” innych iłżeckich mieszczan, objętość zamkowych murów topniała jak śnieg na wiosnę. Proces ten zatrzymano dopiero w obecnym stuleciu podejmując w 1910 roku prace zabezpieczające, prowadzone pod kierunkiem profesora Oskara Sosnowskiego.
Dokonywane od 1962 roku badania mają na celu odsłonięcie wszelkich tajemnic związanych z iłżeckim zamkiem. Na opracowanie wyników tych badań trzeba będzie jednak jeszcze trochę poczekać.
Dziś wejście do zrujnowanego zamku prowadzi po stromych, zarośniętych trawą schodach. Zamkowa wieża jak dawniej góruje nad okolicą. Na jej szczycie wykonano widokowy taras, na który dostać się można po kręconych, stalowych schodach. Wokół wieży rozrzucone są bardzo zniszczone, a przez to słabo czytelne, pozostałości górnego zamku. Część ich piwnic, po odgruzowaniu, możnaby z powodzeniem wykorzystać na cele ekspozycyjne.
Poniżej zamku znajdują się relikty zamku niskiego, z których najbardziej widoczne są trzy basteje i łączące je mury. Resztę zakrywa bujna zieleń, sprawiając, że pozostałości po zamkowych zabudowaniach wyglądają bardziej na niepowiązane ze sobą gruzowiska, niż na fragmenty wspaniałej niegdyś budowli.