Dopo essersi stabiliti nella chiesa di Santa Maria Maddalena e nelle case contigue nel 1650, la Congregazione dei Padri Filippini sentì l'esigenza di ampliare gli spazi a loro disposizione e pertanto acquistarono nel 1662 l'adiacente casa di proprietà dei nobili Colloredo. Il palazzo nobiliare, con annesso orto in prossimità delle mura della città e della roggia pubblica, apparteneva sin dal 1552 alla famiglia Colloredo. I Padri Filippini adattarono l'edificio alle loro esigenze, curando soprattutto l'area esterna, in cui ricavarono gli spazi per l'orto con viti, alberi da frutto, erbaggi e rose damaschine come era uso degli ordini monastici. Attualmente l'orto corrisponde al giardino Ricasoli, uno dei più apprezzati spazi verdi pubblici di Udine.

All'interno del convento era presente anche la biblioteca che nel 1811, al momento della soppressione dell'ordine religioso, venne in parte venduta dal demanio a privati.

Nel corso dell'Ottocento il convento cambiò completamente destinazione d'uso. A seguito delle procedure di demanializzazione, iniziate in epoca napoleonica, la struttura venne destinata ad uffici governativi (Prefettura, Imperial Regia Delegazione, Deputazione Provinciale, Questura).