Au XIIIe siècle, la Ville de Bruxelles fait construire une première enceinte urbaine. Celle-ci englobe notamment le château du châtelain et le manoir du duc. A hauteur du manoir ducal, elle est interrompue par le bâtiment lui-même. En effet, le duc de Brabant ne peut accepter que son château soit encerclé par les murs de la ville. Il doit garder toute son autonomie, notamment en cas de conflit avec la ville.