L’edificio che risale alla seconda metà del Quattrocento, sarebbe stato fatto erigere dall’Arciduca Sigismondo d’Austria. Fu sede del “Bergrichter”, il magistrato minerario austriaco, in seguito ospitò molte altre autorità amministrative.
Rinnovato una prima volta nel 1558, nei secoli subì poche modifiche, è infatti ancora attuale una descrizione risalente ai primi anni del Seicento: «casa granda solerada con caneve, stue, camere, cosine, chiesura, horto, stalla, cortivo con più arbori frutifferi». Il palazzo, uno dei più importanti e più belli dell’intera vallata, è un autorevole esempio di architettura tardo gotica probabilmente di influenza brissinese. Il muro merlato del rivellino s’innalza dirimpetto all’abside della chiesa di San Martino, delineando così il confine del feudo personale del Vescovo di Feltre.
Presenta una chiara forma di fortezza, con tetto spiovente in scandole, banderuola sommitale, due “erker” affrescati agli angoli della facciata principale (detti anche “bay window” o finestra a golfo, elementi tipici delle case dei territori di lingua tedesca realizzati per proiettare all’esterno dell’edificio alcune finestre).
