Attribuito al proto Andrea Moroni, intorno alla metà del Cinquecento ampiamente attivo in città, il palazzo fu edificato per i fratelli Giovanni Alvise e Fantin Michiel tra il 1558 e il 1561. Alla morte dei due fratelli, la proprietà passò ai figli della sorella Marina, andata sposa ad Alessandro Contarini, che la diedero ripetutamente in affitto. Entro il 1675 l'edificio fu ceduto al ricchissimo mercante Agostino Fonseca, di origini portoghesi, dal cui erede Sebastiano pervenne ai Fini, quindi ai Neri, per divenire, nel 1875, proprietà del Comune di Padova, che lo adibì a sede della Scuola d'applicazione per gli Ingegneri. Al trasferimento di questa a Palazzo Cavalli, il complesso ospitò un asilo infantile intitolato alla contessa Maria Venezze Giustiniani. Rimasto vuoto e inutilizzato per molti anni, nel 1961 fu quindi donato dal Comune all’Università di Padova, che vi insediò un collegio studentesco intitolato al medico e anatomista Giambattista Morgagni.
Il palazzo riunisce in sé il tipico impianto della casa veneziana con sala passante e la tradizione padovana dei portici su strada. La facciata è interamente rivestita da bugnato in pietra viva: al piano nobile si apre una grande serliana cinta ai lati da alte finestre ad arco. All’interno, fra gli imponenti saloni con le travature originali, spiccano i portali binati di accesso alle scale, ionici al piano terra e corinzi al piano nobile.