La construcción data del siglo XIV (aproximadamente año 1350) y está asentado sobre los restos de un Fortín Romano del siglo I d. C. Se cree que la función de este fortín era proteger una mina situada donde hoy se emplaza la Iglesia de Santa María de Gracia, de ahí que su ubicación no esté en un “punto alto” como el resto de Castillos. De su construcción original aún quedan restos como La Torre del Homenaje (reconstruida), la puerta original que daba acceso al mismo (acodada con arco trespuntado),...