L'edificio, di proprietà comunale, si articola in due ali e parti aggiunte. Fu eretto nel Trecento e passò agli Opesso (Opezzo), che lo tennero fino alla metà del Settecento, quando il palazzo venne acquisito dal Comune, che lo adibì a carcere (fino al 1960) e ad uffici.
La facciata è stata compromessa dal mutamento d'uso, ma è evidente la sua antica bellezza.
Nel cortile e nei locali adibiti a galleria civica si notano alcune cornici in cotto decorate della metà del Quattrocento.
Una parete è adibita ad abitazioni, il resto è oggetto di progetti che porteranno ad un recupero della interessante struttura.