El primero en levantarse fue el
Castillo de
San Gabriel, conectado hoy con el
Puente de las Bolas. Más tarde se construyó el Castillo de San José. La piratería fue constante: en 1586, el corsario Morato atacó y arrasó San Gabriel, obligando a su reconstrucción.