Il palazzo del comune risale al 1350, e fino al 1435 ha ospitato la residenza della famiglia Chiavelli, signori della città.
Da ammirare l'androne voltato a crociera del XIV secolo, il lapidarium con epigrafi e cippi provenienti dai comuni romani di Attiggio, Borgo Tifico e Sassoferrato.
L’edificio oggi ospita la sede del Comune di Fabriano.