Prócz wsi nazywającej się Szumsko, był też zamek Szumsko w nieodległym od Szumska Rembowie. Zrujnowany, dziś całkowicie ukryty w ziemi, należy do tak zwanych zabytków archeologicznych.
Zamek powstał na początku XIV stulecia, a jego fundatorem był Jakub lub Krzesław z rodu Odrowążów. Na drodze małżeństwa zamek przeszedł w ręce Poraitów Kurozwęckich, ale szybko został opuszczony, a potem (w XV wieku) rozebrany. Zamek wzniesiony został z miejscowego kamienia, pozyskanego podczas drążenia fosy. Jego plan miał kształt elipsy o długościach osi: 24 i 36 m. Otwór bramny umieszczony był od południa, przy nim znajdowała się wieża bramna a na wprost – jednotraktowy dom mieszkalny, składający się z trzech izb. Przed domem był dziedziniec mający kształt równobocznego trójkąta. We wschodniej części zamku stała wieża tzw. „bergfried”, a poza murami, przylegająca do północno-wschodniej partii muru – „kurza stopka”. Krótki żywot zamku miał swą racjonalną przyczynę, zawinioną przez czternastowiecznych budowniczych – zamkowe mury zamiast na litej skale, posadowiono na warstwie zwietrzeliny, przez co zaczęły pękać i osuwać się.