Gács gyönyörű kastéllyal büszkélkedhet. A 13. században már a Tomaj nemzetségbeli Losonczyak vára magasodott itt, majd a 16. század végétől, amikoris Losonczy Anna férjhez ment Forgách Zsigmondhoz mind a kastély, mind a környékbeli települések a Forgáchok birtokaihoz tartoztak, egészen 1945-ig. A kommunizmus után felújított kastély ma már szállóként működik, de a kastély még ma is a boldog békeidők hangulatát őrzi. Például a folyosókon a magyar királyokat ábrázoló reneszánsz falfestmények is díszlenek még.
Forgách János nemcsak kastélyt épített Gácson, de 1767-ben ő alapította Magyarország első posztó-manufaktúráját is, ami a hadsereg egyik legnagyobb beszállítója volt.
Gácsról indult el a napúton a helyi gyógyszerész família sarja, Csontváry Kosztka Tivadar is.