Durante la primera mitad del siglo XVI se construyó la planta alta por orden del rey Carlos I de
España, que fue el último monarca en visitarlo hasta que entre el 12 y el 16 de septiembre de 1860 se alojó en él la reina Isabel II junto con su esposo y sus hijos.