Felipe II ordenó fortificar la ciudad que estaba desguarnecida al duque Vespasiano I Gonzaga, el cual realizó unas obras de muy deficiente factura y aprovechó para llevarse numerosas
esculturas romanas que aparecieron durante las obras. También se construyeron numerosas
torres vigía, como la de La Azohía, por toda la costa para avisar del peligro de ataque de los piratas berberiscos.
