Carlos se formó intelectualmente con Adriano de Utrecht, que sería promovido al pontificado con el nombre de Adriano VI, y con Guillaume de Croy, señor de Chièvres, personaje sobre el que recaen las acusaciones de avaricia y fanfarronería. Pasó su infancia en los Países Bajos, y en sus estudios siempre mostró gran afición por las lenguas, las matemáticas, la geografía y, sobre todo, la historia. Paralelamente, sus educadores no olvidaron que un hombre llamado a tan altos designios debía poseer un organismo robusto, de modo que estimularon los ejercicios físicos del joven Carlos, quien sobresalía en la equitación y en la caza, al tiempo que se mostraba singularmente diestro en el manejo de la ballesta. La firmeza de su carácter, rasgo del que dio sobradas muestras en el curso de su vida, parece ponerse en entredicho en sus primeros años, pues, llamado a gobernar Flandes en 1513, fue en realidad su ayo, el señor de Chièvres, quien llevó las riendas del Estado. Pero este hecho se comprende fácilmente cuando se cae en la cuenta de que Carlos tenía por entonces sólo trece años.