Las obras de este castillo de la casa de Alba comienzan en el siglo XV de la mano de D. Gutierre Álvarez de Toledo. Sin embargo, será el Gran Duque de Alba quien termine por convertirlo en palacio. El castillo-palacio tenía cuatro torres que se llamaban Torre del Rey, Torre del Arzobispo, Torre Guarropa y Torre del Homenaje. Tras la Guerra de la Independencia tan sólo se conserva la Torre del Homenaje o de la Armería.