Il prospetto del palazzo di Bonifacio VIII è caratterizzato da un portico con grandi archi, sormontato da un loggiato con bifore.
Secondo la leggenda, in una delle sale del palazzo, affrescate con motivi floreali e faunistici, il Papa Bonifacio VIII venne pubblicamente umiliato da Sciarra Colonna durante il duro confronto tra il papa e l'inviato di Filippo il Bello, Guglielmo di Nogaret.
Oggi all'interno dei suoi ambienti sono allestiti un museo, e il Centro di Anagni dell’Istituto di Storia e di Arte del Lazio Meridionale.