Zólyomlipcse, nevéből is adódik, szász alapítású, szabadalmát a 14. században Károly Róbert királyunktól kapta. A pálosok is megtelepedtek itt és a középkorban volt idő, amikor a bányaváros jelentősége felülmúlta Besztercebányáét. Ez persze már csak a régmúlt, amire néhány megmaradt patinás épület és szobor emlékeztet.
Zólyomlipcse vára a 13. században épülhetett, királyaink, királynéink majd magyar főúri családok kedvelt rezidenciája volt. 1667-ben falai között halt meg az összeesküvő, Wesselényi Ferenc nádor. A 19. századi tűzvész után az 1930-as évekig árvaház működött benne. A zegzugos várkastély ma már szociális otthonként szolgál.