Intorno al complesso della chiesa San Silvestro, fondata ad opera di Domenico da Foligno nel 1029, alle falde del monte San Casto, fuori dalla cinta muraria, nel luogo dove esisteva una torre, demolita per la costruzione dell’edificio sacro, a partire dall’XI sec. si sviluppò un nuovo borgo, denominato “de cancellis”, dai cancelli degli orti intorno al monastero annesso alla chiesa. Il toponimo “Cancéglie” compare solo nel XVI secolo. Nonostante il rione fosse caratterizzato dalla presenza di popolari botteghe artigiane, al suo interno, nel XVIII secolo, sorse il palazzo nobiliare Branca, che si contraddistingueva dalle casupole addossate, invece, l'una all'altra. Benché gli interni delle abitazioni siano stati completamente manomessi dai recenti restauri, all’esterno sono ancora visibili molti dei portali originali, datati tra XVII e XVIII secolo.