Pertenece en propiedad a la Casa de Alba, que fue levantado en el siglo XV, de estilos gótico al renacentista, que es uno de los principales inmuebles de la ciudad, por su valor histórico, arquitectónico, artístico y por la importancia de sus bienes muebles y que es Bien de Interés Cultural desde 1931. En él nació el poeta Antonio Machado en 1875.
Y (Dato importante) pasó sus últimos momentos previos a su fallecimiento, el 20 de noviembre de 2014- Cayetana Fitz-James Stuart. Duquesa de Alba de Tormes.