In 1506 volgt Keizer Karel zijn vader Filips de Schone op als "natuurlijke prins" van de prinsdommen die de Nederlanden vormen. Hij verblijft regelmatig in zijn Brusselse paleis en toont veel interesse voor de verbouwingen die er zullen worden uitgevoerd.Dat hij veel belang hecht aan de centrale ligging van Brussel en zijn paleis, blijkt uit zijn beslissing om er in 1515 mondig te worden verklaard en in 1555 troonsafstand te doen.