Pierwszym odnotowanym w dokumentach właścicielem Rytwian był arcybiskup gnieźnieński, Mikołaj z Kurowa, a od niego wieś nabył Wojciech Jastrzębiec, krakowski biskup. Po biskupie dziedziczyli jego bratankowie, synowie Ścibora, wojewody łęczyckiego (który miał podobno aż 20 synów), a Paprocki wymienia jako dziedziców kasztelana sandomierskiego Jana i Dersława, sandomierskiego wojewodę. W czasach Długosza w Rytwianach stał zamek, „przy którym stała drewniana kaplica św. Wojciecha i Krzysztofa, fundacyi arcybiskupa Wojciecha Jastrzębca. Przy kaplicy był prebendarz, którego obowiązki w 1416 roku określa fundator. W 1508 r. Rytwiany należą do Ewy de Rytwiany, wdowy po wojewodzie lubelskim, następnie do Hieronima Łaskiego” – pisze ksiądz Wiśniewski. W roku 1578 właścicielami Rytwian są już Tęczyńscy, choć sami tu nie gospodarzyli, wydzierżawiając dobra Stanisławowi Dembińskiemu, staroście chęcińskiemu.
„Silva Aurea” czyli Złoty Las – taką poetycką nazwę nosił erem kamedułów wybudowany w lesie w pobliżu Rytwian, wsi położonej niedaleko Staszowa. Był to drugi z kolei klasztor kamedulski w Polsce – pierwszym był obiekt ufundowany w podkrakowskich Bielanach przez Mikołaja Wolskiego i nazywany Srebrną Górą (Mons Argenteus). Klasztor rytwiański, którego budowę rozpoczęto w roku 1624, powstał jako fundacja Jana Magnusa Tęczyńskiego, krakowskiego wojewody. Kompozycja przestrzenna Złotego Lasu w dużym stopniu stanowiła zapożyczenie barokowego układu zastosowanego w Bielanach. Różnice między tymi założeniami wynikają ze ściślejszego stosowania w Rytwianach kamedulskich przepisów budowlanych, które Kapituła Generalna Zakonu ustanowiła w roku 1610.
Założenia klasztorne kamedułów składały się z dwóch stref: strefy laickiej, która choć położona za klasztorną furtą, uważana była za laicką oraz strefy pustelniczej, objętej ścisłą klauzurą. Mnisi zamieszkiwali w strefie pustelniczej, każdy z nich w odrębnym domku-pustelni. Wejście główne do kościoła prowadziło ze strefy laickiej, ale wejścia boczne znajdowały się już za murem rozdzielającym strefy. Oprócz muru ograniczającego strefy, całe założenie otaczał drugi mur, biegnący równolegle do pierwszego. Przed klasztorną furtą znajdowały się jeszcze dwie kolejne bramy , a droga między nimi także ogrodzona była murami. Takie rozplanowanie jeszcze bardziej podkreślało barokową osiowość całego założenia. Przepisy budowlane zakonu nie narzucały kompozycji przestrzennej. zwracały natomiast uwagę na funkcjonalną poprawność i wymagały zachowania „pustelniczej prostoty” czyli unikania ozdób. Rozciągająca się za kościołem strefa pustelnicza (we Włoszech czasem lokalizowano ją nie za kościołem lecz z boku dziedzińca) zabudowana była kilkunastoma domkami-pustelniami, z których każdy posiadał stanowiący komunikację przedsionek, celę o powierzchni 22 metrów kwadratowych, kaplicę oraz drewutnię będącą też pomieszczeniem sanitarnym. Oprócz domków w strefie pustelniczej znajdował się także dom braci konwersów z infirmerią oraz budynek kuchni ze studnią. W strefie laickiej zlokalizowany był trójskrzydłowy obiekt mieszczący furtę, foresterię z refektarzem oraz aptekę. Centralny element kompozycji klasztornego założenia stanowił kościół.
Wzniesiony w latach 1624-27 rytwiański kościół zbudowano dokładnie w myśl kamedulskich przepisów – stał się on, można powiedzieć, wzorcem dla kamedulskich świątyń w innych krajach Europy – dla przykładu: kościół na podwiedeńskim Kahlenbergu wzorowany jest właśnie na obiekcie z Rytwian.