No obstante, es probable que fuera construido sobre una obra anterior del siglo XII o XIII, que formaría parte de las defensas de la villa amurallada almohade. Perteneció a los condes de Altamira. El condado de Altamira es un título nobiliario español, creado el 13 de marzo de 1455 por el rey Enrique IV de Castilla a favor de Lope Sánchez de Ulloa y Moscoso, señor de las
casas de Altamira.
