Így szól a vár legendája: Sok-sok évszázaddal ezelőtt a református hitre tért Perényi Péter csodálatosan szép leánya, Ilka kíváncsiságában ellátogatott a ferencesek búcsújárására. Kankóvár kolostorában a híres törökverő, Kapisztrán János szent tetemét tették közszemlére. A szerzetesek a leányt, mint az új hit követőjét haragjukban a templom alatti verembe zárták. A Perényi-család hiába kereste a leányt, nem bukkant nyomára. Sok idő eltelt már, amikor egy koldus betévedt a kolostor templomába, s az ima után elaludt. Éjjel a föld alól jövő furcsa hangokra ébredt. Lejutva a verembe, felismerte a rabságába beleőrült Perényi Ilkát. A koldus meg sem állt a Perényi házig. A báró fegyvereseivel a ferenceseket leküzdve, kiszabadította leányát, a megháborodott Ilka azonban már senkit nem ismert meg, sőt, rövidesen meghalt. A feldühödött Perényi Péter elpusztította a kolostorvárat, mely azóta romokban hever.