Hertogin Johanna van Brabant zorgt ervoor dat het paleis flink vergroot wordt. Het wordt uitgebreid met een kapel en een praalzaal, en de hertogin laat het hoofdgebouw en de toegang van het kasteel naar het Baliënplein verbouwen.