La prosperidad comercial y el peligro de la piratería berberisca aconsejaron a los ilicitanos la construcción de un fuerte o
castillo de grandes dimensiones en donde se pudieran refugiar los marineros y mercaderes en caso de ataque. La obra fue iniciada en 1557 por el duque Bernardino de Cárdenas, virrey de
Valencia e hijo del marqués de Elche, y en 1562 ya estaba dotada de cañones.