Többek között a Polthári Soós, illetve Kürtössy család öröksége, a vízivár, amit a 15. században épített egy akkor még élő, természetes Garam-szigeten, Nógrád, Hont és Zólyom vármegyék alispánja, Polthári Soós János. Azt mondják, az alispán gyakori vendége volt a költő, Balassi Bálint.
Garamszeg még egy kastéllyal büszkélkedhet, a Géczy család udvarháza már 1775-ben épült.