El Castillo-Fortaleza, de estilo militar renacentista, se construyó en 1557 por encargo del Virrey de Valencia y Señor de Elche, Bernardino de Cárdenas, para la protección y defensa de los marineros frente a los ataques de los piratas y corsarios. Previamente había existido en el mismo lugar una torre, edificada en 1334 para defensa del puerto.​ El edificio es de planta rectangular, con estructura de mampostería, piedra gruesa en sus muros y sillería en sus vértices. En su interior contaba con dependencias militares, almacenes, horno y aljibe. La actual puerta principal data del siglo XVIII, en que se abrió para sustituir a la anterior, colocada en el muro opuesto. Actualmente se ha convertido en un Centro Cultural en el que se desarrollan diversas actividades. En su interior se encuentran el Museo del Mar, el Museo de la Pesca, la Capilla Virgen de Loreto y la Sala Municipal de Exposiciones

(Agosto de 2018)