Lugar que perteneció a la Casa Ducal de Alba y aunque este es una palacio de época "reciente", seguramente vino a sustituir a otro palacio, castillo o similar en los que nació la dinastía nobiliaria de los Álvarez de Toledo, con el tiempo sus descendientes llegaron a ser los titulares del Ducado de Alba.