Nueve años después lo hereda su hija Margarita. Después de eso, en 1304 debió de hacer frente a una cabalgada de moros granadinos que saquearon los castillos de la zona con ayuda de muchos moriscos locales. El 15 de enero de 1388 el Rey Juan de Aragón vendió Agres y su castillo al caballero Andrés Guillermo Scribé. En la segunda mitad del siglo XV pasó al poder del conde de Cocentaina Joan Roig de Corella. Más tarde a la familia Calatayud. En 1484 se levanta una ermita para la imagen de la Virgen milagrosamente encontrada en el Castillo. En 1578 se amplía el templo para edificar un santuario empleando los materiales de la fortaleza.

(14 de Noviembre de 2021)