Es probable que la fortificación existiese ya en tiempos de la dominación
romana, pues se han encontrado sillares de granito análogos a los del
Acueducto. Hacia 1120, sobre el extremo occidental de la
roca en que se asienta la ciudad, se edificó un
barrio al servicio de los canónigos de la
catedral de
Santa María, conocido como “las Canonjías”.