Il palazzo venne molto probabilmente costruito per volontà di Ignazio Marrese, dell'antica e nobile famiglia dell'aristocrazia tarantina, ed è sicuramente il più maestoso fra quelli prospicienti il Mar Grande con ingresso dalla via Le Fogge, oggi via Paisiello. Contava trenta stanze fra piano nobile e secondo piano oltre alle stalle, alla pagliera e ai magazzini posti al piano pedaneo. Il palazzo poggia sul cinquecentesco bastione Marrese, unico superstite della cinta fortificata della città, comunicante con il palazzo di cui costituisce il piano cantinato. Ha rivelato, durante i saggi effettuati, la presenza di ambienti riferibili alle più antiche strutture fortificate e di grandi cisterne di acqua piovana e di pozzi di acqua sorgiva e di una neviera, forse databile già alla fase di costruzione del palazzo.
Nel corso dell'Ottocento, Francesca Antonia Marrese, figlia di Scipione Maria, sposò Saverio D'Ayala portando in dote il palazzo. I D'Ayala-Valva ne fecero sicuramente la residenza nobiliare più sontuosa della città bimare, cancellando nei prospetti le precedenti architetture e rinnovando gli interni che si arricchirono di pregevoli decorazioni di gusto rinascimentale: la Sala del Convivio, la Biblioteca, la Sala delle Porcellane, il Salotto con il soffitto ligneo e con un dipinto ad olio su tela di grandi proporzioni, raffigurante l'Apparizione di S. Francesco agli ammalati, attribuito a Pacecco de Rosa.
Nel 1880 Roberto D'Ayala vendette il palazzo a Matteo Pagliari, benemerito avvocato massafrese, improvvisamente venuto a mancare il 29 giugno del 1883, così il palazzo, disabitato per diversi anni, nel 1981 venne vincolato ed espropriato dal Comune di Taranto che lo ha destinato a sede museale. Nel 1988 è iniziato il restauro dell'edificio, ma dopo un primo intervento i lavori si sono fermati ed il palazzo, abbandonato, ha subito una serie di furti. Oggi soffitti lignei decorati a motivi floreali, porte di noce, camini e scalone monumentale in marmi pregiati, specchi con cornici dorate e raffinati damascati non sono più esistenti.
Apertura del testamento di don Giuseppe Maria Marrese
1737 maggio 23, Taranto
ASTA, Notaio Troncone Donato Antonio, scheda 144, anno 1737, cc. 315r-324r
Il nobile tarantino Giuseppe Maria Marrese consegna al notaio Donato Antonio Troncone il suo testamento olografo redatto il 16 giugno 1734 e l'autorizza ad aprirlo dopo la sua morte.
"Ordino al supradetto don Scipione mio figlio che quando s'aprirà la chiesa del Venerabile Monastero dell'Orfanelle di questa città, che al presente si sta fabricando, sotto il titolo di S. Michele Arcangelo debbia per una sol volta solamente pagare al priore pro tempore ducati cento per farsene il quadro al detto glorioso S. Michele per l'altare maggiore di detta chiesa; e più che debbia consegnarli la cassetta suggellata, che io tengo nello scrittorio continente una reliquia del glorioso Secondino colla sua autentica, acciò possa esponersi alla pubblica adorazione de' fedeli in detta chiesa".
Inventario dei beni a favore degli eredi del nobile Giuseppe Maria Marrese
1737 giugno 29, Taranto
ASTA, Notaio Troncone Donato Antonio, scheda 144, anno 1737, cc.384r-393v
Morto Giuseppe Maria Marrese il 23 maggio 1737 il suo erede universale Scipione Maria per accedere all'eredità paterna fa redigere un solenne inventario dei beni ereditati dopo aver fatto affiggere in publica plathea i prescritti bandi.
Oltre alla masseria in territorio di Taranto nella contrada detta S. Pietro il Mutolo, viene minutamente descritto, negli arredi e nelle suppellettili, il palazzo "consistente in sala, due anticamere e cinque camere per letto, cocina, torri soprane, camere inferiori ed altri membri e commodità sottane, sito e posto dentro Taranto nel pittaggio di Baglio, confine la casa del venerabile convento de SS. Vito, Giuseppe e Teresa de Carmelitani Scalzi di questa città, la casa fu della quondam signora donna Eleonara de Beaumont, via publica detta delle Fogge, altra via publica detta delle Mura del Mar Grande".
Dettagliata la descrizione degli ambienti ricchi di mobili e suppellettili di pregio con una attenzione particolare ai numerosi quadri tra i quali "due altri quadri tondi con cornici similmente indorate del fu Paolo de Matteis. Tre altri quadri del discepolo del sudetto pittore, due con l'effiggie della Maddalena e l'altro con l'effiggie di Nostra Signora Addolorata e due altri più piccoli, uno di Nostra Signora della Concezzione e l'altro di S. Irena"
Inventario dell'eredità di Giantomaso Marrese
1828 marzo 31, Taranto
ASTA, Notaio de Vincentiis Domenico Antonio, scheda 333, anno 1828, cc. 228r-356r
Dopo la morte del nobile tarantino don Giantomaso Marrese, avvenuta il 20 gennaio 1828 e alla presenza di numerosi periti: "mastro ferraro, impellicciatore e fallegname, sartore da donna, conoscitore di oggetti di biancherie, guarnamentaro, orefice e mastro carozziere", viene stilato l'inventario dei suoi beni per poterli stimare ed eseguire le volontà espresse nel testamento.