Este edificio, uno de los principales monumentos renacentistas de España, fue erigido en el último tercio del siglo XVI, sobre la ladera del monte Abantos, a 1.028 m de altitud. Se debe a un proyecto original de Juan Bautista de Toledo, que fue culminado, tras su muerte, por Juan de Herrera, quien impuso un nuevo estilo arquitectónico, bautizado con su apellido.