Fue construido en el siglo XV, sobre las anteriores fortalezas de los siglos XIII y XIV. Alojó la corte de la princesa de Asturias, Juana de Trastámara, en su guerra contra los reyes católicos. Es propiedad del Ayuntamiento de Toro, y se destina a la realización de actividades culturales y como dependencias municipales.