A Görgey nemzetség ősi felvidéki birtokközpontja Toporc, amit ősük, Szepes vármegye főispánja kapott adományként, 1256-ban IV. Béla királytól, a tatárjárás idején tanúsított hősies cselekedetéért. Jó 700 éven át jelen is voltak itt a Görgeyek, de ahogy megromlott régi kastélyuk mutatja, nincsen már helyük itt. Pedig utoljára 1907-ben az épületet teljesen felújították és egészen 1943-ig, Görgey Albert haláláig jó állapotban volt, de jött az új kor, a téeszek és proletárok világa, akik úgy elsöpörték azt a régit, mintha sosem lett volna.
Pedig a Görgeyek idején még gimnáziuma is volt Toporcnak, ahol görögöt, latint és németet is tanítottak. A falu közepén az 1700-as évek végén a család egy újabb kastélyt is épített.
A 14. századi ódon gótikus templom oldalbejáratánál egy vaskos vakkapu: hatalmas fekete márványtábla állja az ember útját: ne akarjon ide senki belépni addig, míg meg nem tudja, hogy bizony hajdan a Görgeyek voltak itt az urak, és nagy dolgokat vittek végbe Istenért, hazáért. Hívei voltak Thökölynek, csatlakoztak a Rákóczi szabadságharchoz és Toporc szülötte a 1848–49-es szabadságharc hadvezére, Görgey Artúr is.