Építése Migazzi Kristóf bécsi érsek, váci püspök nevéhez fűződik. Pázmány Péter útmutatása szerint az elszegényedett köznemesség fiainak nevelését szolgáló intézetet hozott létre a városban. A fiatalok nevelését a piarista rendre bízta. 1765-ben kezdődött meg az építkezés, a fegyház jelenlegi helyén, a régi temető telken.
Az intézetet végül Mária Terézia gondoskodásából (1767) a bécsi Theresianum mintájára, a gimnáziumi és az akadémiai elveknek megfelelően alakították ki.
1808-ban az országgyűlés, itt alapította meg a Ludovika Katonai Akadémiát, melynek megnyitása végül elmaradt. A Ludovika Akadémia célja az volt, hogy az itt nevelkedett magyar nemes és polgári családból származó ifjak a hadseregben, a haza szolgálatára alkalmasak legyenek. Az intézményt 1825-ben Pestre helyezték, Vác város akarata ellenére.
Az 1848-as szabadságharc elbukását követően, 1852-ben léptették életbe az osztrák birodalmi büntető törvénykönyvet Magyarországon, ezért olcsón és gyorsan börtönöket kellett létrehozni. E cél érdekében 1854 és 1858 között fegyintézetté alakítottak át várakat és más középületeket. A Pest megyei fegyintézetet Vácra telepítették, az egykor Mária Terézia és Migazzi Kristóf által nemes ifjak nevelőintézetének építtetett intézet falai közé.
Ahogy sétáltunk a diadalív felé a fegyház oldalában egy különleges szobrot láttunk. 1956-os emlékmű, Seregi György kovács iparművész munkája. (2006)
A hely sem véletlen, hiszen sok 56-os politikai foglyot zártak börtönbe.
Következik egy Mária kegyhely, Hétkápolna