„Już od 1222 roku Kazanów leżący pod Końskimi, należy do rodu Odrowążów, w tym bowiem czasie z rąk Iwona biskupa krakowskiego przechodzi do jego krewnych” – czytamy w opisaniu „Dekanatu koneckiego” księdza Jana Wiśniewskiego, który opierał się na Liber Beneficiorum Jana Długosza. „Ten właśnie Kazanów jest gniazdem Kazanowskich herbu Grzymała”.
Fundatorem pierwszego, drewnianego kościoła (filialnego w stosunku do koneckiej parafii) był Mikołaj Kazanowski, sandomierski chorąży. Uzyskawszy od arcybiskupa gnieźnieńskiego, Jana Lipskiego stosowne pozwolenie, rozpoczął w 1529 roku budowę. Dzieje kościoła wyjaśniać miał – według księdza Wiśniewskiego – umieszczony w kaplicy napis: „Byś nie miał wątpliwości piszę co do słowa/ O kościele, klasztorze, bo o tym jest mowa/ Skąd ma swój początek komu ta wieś znana/ Z Archiwum słowo w słowo jest wypisana”. Jeden z jego potomków fundatora, Hieronim Kazanowski zniszczony kościół odnowił i w roku 1627 wystawił przy nim drewniany klasztor. Obecny kościół i klasztor, na tym samym miejscu co budowle pierwotne, zbudowano dzięki staraniom Izabelli z Lanckorońskich Lipskiej, starościny rawskiej, dziedziczce z Modliszewic. Prace budowlane przy klasztorze ukończono w latach 1772 – 81.
Kościół powstał znacznie wcześniej – skończono go w roku 1694, ale konsekrowano dopiero w 1764. Jest świątynia barokową, z dwuprzęsłową nawą i prezbiterium o takiej samej co nawa szerokości. Po bokach nawy umieszczono symetrycznie dwie kwadratowe kaplice. Pod kaplicą zachodnią jest krypta dostępna z kościelnego cmentarza poprzez przedsionek, kaplica wschodnia stoi w klasztornym wirydarzu. Główną, wejściową elewację (północną, gdyż kazanowski kościół nie jest orientowany) zdobią dwie wieże. Belkowanie dzielące tę fasadę na dwie kondygnacje jest klasycystyczne, z 1802 roku. Dachy nad nawą i prezbiterium są dwuspadowe, zaś nad kaplicami wykonano ośmiodzielne dachy łamane. Wieże wieńczą cebulaste hełmy z latarniami.
Klasztor (wraz z kościołem jako zachodnim skrzydłem) tworzy czworobok wokół prostokątnego wirydarza. Skrzydło północne wysunięte jest wyraźnie przed lico fasady kościoła, a południowe nieznacznie przed prezbiterium, zaś oba te skrzydła przedłużone w kierunku wschodnim, formują dwa wydatne ryzality. Wewnątrz budynków klasztornych, na obu ich kondygnacjach, od strony wirydarza są trakty komunikacyjne, a przy nich cele zakonników i inne pomieszczenia: przy prezbiterium kościoła zakrystia, na narożu południowo – wschodnim refektarz z kuchnią, a od południa coś w rodzaju średniowiecznego gdaniska – wysunięty z południowego skrzydła ryzalit mieszczący klasztorne „toalety”. Klasztorne budynki nakrywają dachy łamane, tak zwane „polskie”. Mury wzmacniają masywne szkarpy.
W roku 1864 klasztor uległ kasacie. Klasztorny gmach opustoszał i począł chylić się ku ruinie. Dodatkowych zniszczeń przysporzyła II wojna światowa. W latach 1949 – 52 klasztor (a w szczególności najbardziej zrujnowane skrzydło południowe) odbudowano. Gruntowny remont prowadzony był także w roku 1944.
Warto też wspomnieć o jeszcze jednej atrakcji Kazanowa – o położonych na wschód od wsi pozostałościach po założeniu obronnym, najpewniej będącym kiedyś rodowym zamkiem Grzymalitów – Kazanowskich.