All'indomani della devastante eruzione del Monte Nuovo ( nella notte tra il 29 e 30 settembre 1538 ), il Viceré di Napoli Don Pedro de Toledo decise, senza alcuna esitazione, che la città di Pozzuoli doveva essere ricostruita. Le motivazioni del Toledo circa la ricostruzione della città, erano di ordine sia politico che sentimentale. Nell'economia del Vicereame Pozzuoli rivestiva un ruolo fondamentale per l'attività portuale e anche nelle strategie militari, poichè costituiva un baluardo difensivo da nord-ovest per Napoli. Don Pedro era, inoltre, legatissimo alla città flegrea, dove veniva a trascorrere i suoi momenti di svago, andando a caccia nel cratere di Campiglione, ma ne apprezzava anche la storia, la natura, il clima, ed  era solito curarsi i suoi malanni con le acque termali puteolane.  Il suo primo impegno fu quello di far ritornare gli abitanti che, atterriti dai continui terremoti precedenti l'eruzione, si erano rifugiati a Napoli e nei paesi vicini, e perciò decretò l'esenzione, per molti anni, dal pagamento delle imposte per tutta la popolazione. Successivamente  diede l'avvio alla ricostruzione delle case, delle strade, alla riattivazione dell'acquedotto ed anche all'abbellimento della città con giardini e fontane.

Le mura del Rione Terra furono riparate e rinforzate ampliando il torrione ai piedi della rocca, e venne aperta una nuova strada per collegare Pozzuoli con Baia, dal momento che quella precedente era stata distrutta dall'eruzione e, volle anche rendere nuovamente funzionanti i bagni termali. A proprie spese fece eseguire i lavori di restauro delle chiese di San Francesco (oggi Sant'Antonio) e di San Giacomo apostolo (oggi chiesa del Carmine). Per far capire, infine, che la città era di nuovo sicura e vivibile e per dare un segnale forte della rinascita di Pozzuoli, Don Pedro fece costruire una dimora per se stesso. L'area su cui venne edificata gravita sul pendio che dalla parte alta della città, dove sorgono l'anfiteatro e altri grandiosi monumenti romani, degrada verso la zona portuale. Dalla lettura delle iscrizioni della base di una statua di Mavortio, un personaggio autorevole dell'antica Puteoli, apprendiamo che questa parte della città costituiva la Regio clivi vitrari sive vici turari, cioè il quartiere dove si concentrarono le fabbriche del vetro e dei profumi.
L'edificio, la cui costruzione avvenne quasi certamente tra il 1539 e il 1541, sorgeva, inoltre, sulla stessa area dove secondo le fonti esisteva già una residenza appartenuta ai sovrani Angioini prima ed Aragonesi poi, affiancata da un monastero benedettino che per questo motivo è indicato nelle cronache come Sant'Andrea de palatio.