En 1506, Charles Quint succède à son père Philippe le Beau comme souverain des principautés formant les Pays-Bas. Il réside régulièrement en son palais bruxellois et s'intéresse de près aux transformations qui y seront apportées. L'importance qu'il attache à la situation centrale de Bruxelles et de son palais, est illustrée par son choix d'y être émancipé en 1515 et d'y abdiquer en 1555.