Zamek Krzyżtopór zbudowany został na planie pięcioboku, z bastionami na narożach. Fortyfikacje obejmują teren o powierzchni około hektara. Zewnętrzny obwód tworzyły ziemne obwałowania wzmocnione kamiennym murem oporowym. Cztery bastiony wypełnione były ziemią, a usypane na nich stanowiska artyleryjskie bronić miały przedpola. Piąty z bastionów, nazywany Wysokim Rondlem, umieszczony na głównej osi zamku, posiadał w swym wnętrzu kazamaty, do których dojazd prowadził równią pochyłą z wewnętrznego dziedzińca /tzw. poterną/. Interesującą cecha tego bastionu jest zupełnie nietypowe ścięcie narożnika, pogarszające jego obronność, podyktowane prawdopodobnie pragnieniem zachowania ścisłej osiowości i umieszczenia tam furty prowadzącej do ogrodów. Fortecę otaczała nawodniona fosa, nad którą na osi głównej bramy przerzucono łukowy most. Poza obrębem fortyfikacji znajdowały się zamkowe ogrody.
Krzyżtopór jest klasycznym niemal przykładem popularnego wówczas typu palazzo in fortezza. Powiązanie fortyfikacji z układem przestrzennym założenia pałacowego jest tu w pełni świadomym i trzeba dodać wyjątkowo udanym zabiegiem kompozycyjnym. W stosunku do swego pierwowzoru, zamku w Capraroli, gdzie bastionowe fortyfikacje służyły raczej dekoracji, należy stwierdzić, że Krzyżtopór był zamkiem mogącym wytrzymać regularne oblężenia. O ile zamek rodziny Farnese nazwać można pałacem z dodanymi na rogach niewielkimi bastionami, to Krzyżtopór był regularną fortecą, w której środku wybudowano pałac. Jego obronność zwiększona była brakiem możliwości podminowania zamku, posadowionego na litej skale. Najlepiej oddaje to opinia Pufendorfa, Szweda w służbie Karola Gustawa, który pisał, że zamek jest dobrze obwarowany, a zdobyty został przy pomocy podstępu.
Wewnątrz fortyfikacji znajdował się pałac, którego plan opierał się na prostokącie z wewnętrznym dziedzińcem w kształcie elipsy. Przed korpusem pałacu, specjalnie w tym celu cofniętym, znajdował się dość obszerny dziedziniec frontowy. Na głównej osi zamku, do prostokątnego korpusu dostawiono skrzydło mieszczące na piętrze wielką salę, a zakończone ośmiokątną wieżą. Naroża bocznych skrzydeł pałacu, stanowiących boki pięciokąta, zaakcentowane są wieżyczkami. Te wieżyczki i charakterystyczna wieża bramna, ozdobiona krzyżem i toporem /stąd właśnie wywodzi się nazwa zamku/ stanowią istotne urozmaicenie sylwety budowli.
Zamek Krzyżtopór jest niestety tylko ruiną. Na szczęście jest ruiną nienajgorzej utrzymaną – wprawdzie zniszczone są dachy, stropy i większość sklepień – fortyfikacje i mury jednak zachowały się, dzięki czemu przestrzenny kształt zamku, jednego z najwybitniejszych przykładów architektury polskiego manieryzmu, jest nadal w pełni czytelny.