La famiglia Denza era una delle più importanti di Montecorvino. Fra i diversi rami esistenti va annoverato quello di Pizzo Oliveto, discendente da Paolo Denza e insignito del titolo di nobiltà nel 1494 dal Re Alfonso II d’Aragona.
Il palazzo di famiglia era ubicato nella parte bassa di un ampio possedimento feudale, chiamato l’Oliveto della Mensa Vescovile di Acerno. Un primo nucleo di fabbrica si può datare nel tardo quattrocento, con ampliamenti nei decenni successivi, costruzione di una torre e di un cortile interno dotato di fontana, alimentata da una sorgente poco distante dal palazzo.
Nella prima metà del Settecento, i fratelli Rev. D. Andrea Maria e il Dott. Ludovico ristrutturano il palazzo e costruirono o ristrutturarono il portale di ingresso, dove vi sono ancora oggi figure umane di gentiluomini. L’intento dei due fratelli era quello di ribadire il loro status sociale e l’antichità della loro famiglia.
Nel portale lapideo si notano diverse figure di uomini in abito settecentesco con spada di gentiluomini, e bastone di comando e, al disopra, sulla chiave di volta una lapide con epigrafe succinta della storia famigliare e lo stemma di famiglia.
