Dès le XIe siècle, un château accueille le comte de Louvain, souverain de la ville de Bruxelles, lors de ses séjours en ville. Ce château est la demeure du châtelain de Bruxelles, représentant du comte à Bruxelles. Il se situe dans le lieu dit "Borgendael" (vallée du château), à l'arrière du futur palais ducal.