Attualmente assegnata alla Pinacoteca di Brera, la nascita della Biblioteca si colloca nel quadro della particolare attenzione rivolta al mondo della cultura dal riformismo illuminato del XVIII secolo.
Alla morte, avvenuta nel 1755, del conte Carlo Pertusati, presidente del Senato di Milano, l'erede Luca Pertusati, stabilì di cedere la raccolta libraria appartenuta al defunto e consistente in più di 24.000 volumi, che per lo più rientravano in una sfera di interessi storico-eruditi e letterari.
Il conte di Firmian, ministro plenipotenziario dello Stato di Milano, in accordo con il cancelliere austriaco Kaunitz, desiderando evitare che la Biblioteca venisse allontanata dal territorio milanese, intervenne affinché la Congregazione di Stato stabilisse di acquistarla, per farne omaggio all'arciduca Ferdinando, terzo figlio dell'imperatrice Maria Teresa e di Francesco I° e futuro governatore della Lombardia….
Nel 1770 Maria Teresa decise di destinare all'uso pubblico la Biblioteca del Pertusati, opportunamente accresciuta, dopo che si fosse reperita una sede idonea, vicina al centro della città. Tale sede si rese disponibile solamente nel 1773, dopo lo scioglimento, decretato da Clemente XIV, della Compagnia di Gesù che permise allo Stato di acquisire il palazzo del Collegio gesuitico di Brera, costruito sull'area del duecentesco convento degli Umiliati. L’effettiva apertura al pubblico nei locali così individuati avvenne solo nel 1786.