Felipe extrañaba Flandes, por ello maltrataba a Juana constantemente. A pesar de esta desagradable situación, Juana y Felipe tuvieron seis hijos. El primer parto tuvo lugar el 15 de noviembre de 1498, naciendo una niña a la que se puso el nombre de Leonor. El 24 de febrero de 1500 nace su segundo hijo, Carlos. Cuenta la tradición que el parto tuvo lugar en un pequeño retrete del palacio de Gante, debido a la facilidad de Juana para dar a luz, y a los celos, de ahí que acudiera a una fiesta para vigilar constantemente a su marido. El tercer alumbramiento se produjo en 1501, viniendo al mundo una niña a la que se llamó Isabel, que sería reina de Dinamarca. El 10 de marzo de 1503 nacía en Alcalá de Henares el cuarto hijo del matrimonio: Fernando, futuro Emperador de Alemania y rey de Hungría y Bohemia.