Originariamente casa-torre di proprietà dei Baglioni, l’edificio raggiunse l’aspetto maestoso, che conserva ancora oggi, solo nel Cinquecento, quando fu ampliato mediante l’annessione di nuove costruzioni, che gli fecero assumere l’odierna forma a “L”. Esternamente l’edificio riprende, nelle linee e nella bicromia intonaco-pietra di matrice brunelleschiana, lo stile adottato a palazzo Farnese a Caprarola, edificato nel 1555 da Jacopo Barozzi, detto il Vignola. Proprio a lui, architetto prediletto da Giulio III e attivo negli stessi anni per la cappella perugina della famiglia in San Francesco al Prato, generalmente si riconduce la paternità del progetto della fabbrica di Castiglione. La costruzione, nel 1556, doveva essere ad uno stato piuttosto avanzato. Alcuni indentificano come  responsabile del progetto Galeazzo Alessi.