1686-tól a Zichy grófokhoz tartozott Divény. Ma már velük is csak a temetőben találkozhatunk, ahol lassan a felirat is elkopik sírjaikon. Pedig ereje teljében még többek között olyanokkal foglalatoskodott a Zichy család, hogy újra építette a gótikus eredetű plébániatemplomot.
Kezük nyomát őrzi a szépen megújult kastélyuk is. A Zichyek emlékei mellett azért maradt még valami a Balassák örökségéből is. Kiállítási tárgy lett a 15. századi, hársfából faragott Immaculata szoborból is, amit még Balassa Menyhért rabolt el a Csábrági várból.
1945-ig adatott meg a Zichyeknek Divény. Aztán megérkeztek a kommunisták, és elűzték innen az építőket. Otthonukat kirabolták, pusztulásra szánták, de mára már szépen megújult a kastély.