La justicia y el gobierno municipal, por estos y otros motivos, ordenó sacar la imagen y el
retablo del templo, que se trasladaron a una nueva
capilla de madera en un solar extramuros, junto a la
Puerta de Trabancas. Dos años más tarde, al abrirse una cantera en un
monte propiedad de uno de los miembros de la congregación en
San Amaro de Moldes se puso la primera
piedra del
santuario el 18 de junio de 1778, siendo costeada por la Cofradía de Nuestra Señora del
Refugio y Divina Peregrina.