A Németújvári, majd a Kanizsai család régi birtoka volt Pinkafő. A tatárjárás után elnéptelenedett helyre németek települtek, akikkel szinte állandó harc dúlt a birtoklásáért. A 17. században a Batthyány családé lett, akik 1658-ban építették fel kastélyukat.
És a város szélére 1784-ben ők illesztették a tájba a kálváriát is.