Il palazzo dei Priori situato davanti alla Torre Civica ed alla Cattedrale, fu realizzato intorno alla prima metà del XIV secolo.
Diverse modifiche si susseguirono nel corso dei secoli, la più importante delle quali si ebbe intorno al XIX secolo, quando si dovette predisporre la struttura alla collocazione della sede del Comune.
Dell’originaria struttura restano due finestre ogivali e due stemmi dell'antica Castel della Pieve.