Iłża była ośrodkiem włości biskupów krakowskich, nadanych im zapewne już w wieku XI. Pierwotnie osada leżała w innym miejscu, około półtora kilometra na północny wschód od obecnego miasta. Powstał tam gród a przy nim osiedle skupione wokół kościółka, który zbudowany został prawdopodobnie w XII stuleciu. Około połowy wieku XIII osada otrzymała prawo targowe. Przeniesienie się Iłży w obecne miejsce wywołane zostało przez budowę zamku, ale nie bez echa pozostały także najazdy tatarskie z lat 1241 i 1260. Po drugim najeździe część starej osady odbudowano na starym miejscu, część już na nowym. Stara osada wzmiankowana był jeszcze w roku 1333, jako antiqua civitate, ale los jej wydawał się być przypieczętowany, gdy nowa Iłża uzyskała pełne prawa miejskie, co stało się przed rokiem 1294. Nowe miasto założono na zachód od zamku, od którego oddzielał je ważny trakt komunikacyjny o kierunku północ-południe i rzeczka Iłżanka.
Pozwolenie na ufortyfikowanie Iłży wałami drewniano-ziemnymi otrzymali biskupi krakowscy w roku 1295 od króla Wacława II. Drugą pisaną informacje mamy od Długosza, który pisze, że biskup Florian z Mokrska otoczył murami Iłżę i Bodzentyn, co dokonać się musiało w okresie pomiędzy rokiem 1367 a 1380. Jak wyglądały iłżeckie mury obrazuje rycina Eryka Dahlberga z 2. połowy XVII stulecia. Ukazuje ona miasto od strony południowej, zza jeziora Iłżeckiego. Mury wyposażone są w baszty i zwieńczone krenelażem.
Istnieje plan z roku 1820 pokazujący zasięg murów i ich przebieg. Według Jarosława Widawskiego, autora pracy o miejskich murach obronnych w państwie polskim do początku XV wieku, iłżeckie mury obejmowały teren kształtem zbliżony do prostokąta (ze ściętym północno-wschodnim narożnikiem) o wymiarach około 220 na 200 metrów. Dłuższa oś miasta przebiegała ze wschodu na zachód, łącząc bramę Radomską (wschód), rynek i bramę Mostową (zachód) nad rzeczka Iłżanką. Kościół usytuowany był w północno-zachodnim narożniku, na wzgórku – czyli według terminologii naukowców: „na kulminacji terenowej”.
Iłżeckie mury dość dokładnie opisał Słownik geograficzny, który przypomina, ze powstały one w czasach biskupa Floriana, na miejscu wcześniejszych, drewniano-ziemnych fortyfikacji. Materiałem był wapienny kamień, w bramach uzupełniany ciosami. Przebudowy fortyfikacji dokonał na początku XVI stulecia biskup Konarski, a jej był przyczyną, była odbudowa po pożarze. Najistotniejszym elementem tej przebudowy stało się przedłużenie murów w stronę zamku i połączenie ich w jeden wspólny obwód. Powstały wówczas jeszcze dwie bramy: Krakowska od południa i Solecka od północy.
Upadek fortyfikacji miejskich zapoczątkowały wojny szwedzkie. W roku 1725 w ruinie była jedna trzecia ich obwodu, a w roku 1789 większość murów była już tylko ruiną. Rozbiórki reszty dokonano w latach 1820-21 w związku z regulacją i przebudową miasta. Znaczne partie murów mogą jednak wciąż istnieć, ukryte pod tynkami budynków usytuowanych na północ i na zachód od kościoła parafialnego. Przy zachodnim odcinku murów istniała kiedyś baszta zwana Piekłem, co sugeruje, że służyła jako miejskie więzienie. Nie zachowała się jednak. Jedynym wertykalnym akcentem tej części Iłży, wybijającym się ponad mieszkalną zabudowę, pozostaje kościelna dzwonnica zbudowana w roku 1758 – pięciokondygnacyjna, dołem czworoboczna, wyżej ośmiokątna.