Esso sorge su un masso di travertino che sbarrando il corso al fiume Liri lo costringe a dividersi in due rami e a formare le famose cascate, la più nota Cascata Grande (o Verticale) a sud e la non meno suggestiva Cascata Piccola del Valcatoio ad ovest; entrambe alte 27 metri ed aventi la particolarità di essere le uniche al mondo a precipitare in un centro abitato.
Le prime notizie del sito risalgono al 1004, quando i monaci di Montecassino, ricevuto in donazione da tale Raniero, lo trasformarono in un luogo di preghiera. Nel periodo successivo il castello dovette servire da rifugio per le popolazioni rurali con il loro bestiame in occasione delle scorribande di turchi e saraceni.
Nel XV secolo investita prima contea e quindi di ducato la città Sora, il primo duca, Leonardo Della Rovere, fissò stabilmente la sua residenza nel castello. Nel 1496 passò poi a Giovanni Della Rovere che lo trasformò in una resistenza anti-aragonese per preparare la riconquista del Regno di Napoli a Carlo VIII, con il sostegno del clero locale. La congiura dei baroni fallì e l’unico a sopravvivere fu Giovanni. I Della Rovere rimasero nel castello fino al 1579, anno in cui Papa Gregorio XIII comprò l’intero Ducato di Sora per suo figlio Giacomo Boncompagni, investito del titolo di Duca di Sora e di Arce il 19 Aprile 1580. Quando alla morte del padre, si trovò estromesso dalle cariche politiche che ricopriva a Roma, elesse il castello a sua dimora e vi si ritirò a vivere con la sua moglie, Costanza Sforza di Santa Fiora, che trasformò la struttura militare in una residenza signorile, commissionando gli affreschi di ispirazione biblica e i bassorilievi dei comuni appartenenti al ducato di Sora, che oggi si possono ammirare nel Salone delle Rondinelle, e curando la realizzazione del parco. Con Giacomo il castello divenne il centro amministrativo e politico del Ducato di Sora. Il Castello assurse allora al ruolo di palazzo reale. Durante i disordini del 12 maggio 1799, anche il Castello subì danni gravissimi tanto essere ceduto in concessione agli industriali Lambert e Mazzetti affinché ne facessero un uso industriale. Successivamente, nel 1850, fu venduto a Giuseppe Polsinelli, che ne sviluppò l’uso industriale trasformando gli splendidi saloni in sale per la tessitura, la filatura e la tintura della lana.
Nel 1924 il sito ormai in abbandono fu acquistato dall’ingegnere Angelo Viscogliosi, che aveva sfruttò il salto della Cascata Grande per ricavare energia elettrica utile alla cartiera di famiglia posta a meno di un chilometro di distanza. La famiglia Viscogliosi abita oggi il Castello, curandone la manutenzione e i restauri e conservando, insieme all’uso residenziale, anche quello industriale: all’interno del Castello è infatti ancora attivo il feltrificio dei Viscogliosi.