Nelle epoche successive la sua particolare vocazione difensiva è testimoniata dagli avanzi di mura in opera poligonale, dai resti di mura medievali e dalla costruzione del castello rinascimentale. In vari punti del colle si individuano tuttora tratti della cinta muraria in opera poligonale di seconda maniera, realizzata con grossi blocchi di pietra calcarea appena sbozzati, la cui costruzione risale al periodo della deduzione della colonia latina nel 303 a.C. Nelle vicinanze del campanile della chiesa di Sant’Antonio Abate e nei pressi della chiesa della Madonna delle Grazie, il circuito difensivo è conservato per vari filari. La cinta muraria, oltre ad abbracciare lo stretto spazio pianeggiante in cui si sviluppò la città in età romana, tra le pendici del monte San Casto e il fiume Liri, saliva verso il crinale del colle, includendone tutto il versante rivolto verso la città; dopo aver raggiunto il luogo dove successivamente fu costruito il castello, la cinta doveva ridiscendere a valle in direzione del fiume Liri, come testimonia uno dei tratti più possenti, eseguito con una tecnica più raffinata, tuttora visibile lungo le pendici settentrionali di San Casto, a nord della Rava Rossa, la cui altezza raggiunge 3,40 metri; da qui le mura tornavano verso il centro urbano, inglobando l’area sacra al di sotto dell’attuale cattedrale di Santa Maria Assunta.
Il colle San Casto ricoprì un ruolo importante anche dal punto di vista cultuale e religioso: alcuni materiali rinvenuti nei pressi del castello sembrano riferibili ad una stipe votiva, connessa forse a un santuario repubblicano. Un altro luogo di culto si trovava nei pressi della Rava Rossa: qui, sulle pareti rocciose dal tipico colore rossiccio per la presenza di ossido di ferro, sono ricavate due edicole votive (e tracce di una terza), con le relative iscrizioni di dedica, databili tra la fine del I sec. d.C. e il II sec. d.C., che permettono di individuare il dio venerato in Silvano, nume delle selve e delle terre incolte.
Sulla cima del monte si ergono i resti del castello anticamente conosciuto con il nome di Rocca Sorella, nominato per la prima volta a proposito delle occupazioni dei Longobardi, al tempo di Teodosio (696-706). Il castello che vediamo oggi venne costruito nel 1520 da Evangelista da Carrara di Bergamo sui resti di un baluardo medievale. Appartenne a numerosi feudatari fino all’ultimo, Antonio Boncompagni, che nel 1796 lo cedette al demanio