La torre Baglioni situata nei pressi della porta della Marina e ai margini delle mura caldoriane, appartenne ai Bernardi, cui seguirono i Salzano-De Luna, e infine i Baglioni, da cui la struttura quadrata prende il nome.