Hont vármegye egykori székhelye Ipolyság. A város alapját egykori premontrei kolostora adta, amit a 13. század elején a Hont-Pázmány nemzetségbeli Márton bán alapított. A török uralom után a jezsuiták építették újjá a kolostort, s 1734-ben befejezték a kéttornyú barokk templomot is.
1868-ban a palóc fővárosban született majd járt iskolába a nemzet nagy tanítója, Sajó Sándor, aki miután átélte, hogy elszakították és peremvárossá tették szeretett szülőhelyét, a magyar fájdalom költőjévé vált.
Az Ipoly túlpartjára a második világháborúban megsemmisült, majd 2010-ben közadakozásból újraállított Nepomuki Szent János szobra vezeti át a vándort.