Dice la tradición que San Francisco de Asís, en peregrinación a Compostela en 1214, fue acogido por una familia compostelana, el hombre era un carbonero llamado Cotolai; en su casa del Monte Pedroso. Le encomendó a este construir un monasterio pero cuando le replicó que no tenía recursos, le mostró un tesoro cerca de la ermita de San Paio do Monte (San Payo del Monte) que le permitiría llevar a cabo la obra. Val de Deus (Valle de Dios) era un terreno propiedad del monasterio benedictino de San Martiño Pinario (San Martín Pinario), que lo cedió a cambio de una cesta anual de pescado, que se siguió entregando hasta finales del siglo XVIII.
El convento primitivo se vino abajo a comienzos del siglo XVIII y no quedan de él más que cinco arcos apuntados que se conservan en el claustro principal y el sepulcro de Cotolai. Estos arcos estaban en la Sala Capitular, en la que Carlos V celebró cortes en 1520. La reconstrucción, que conllevaba cambiar la orientación de su iglesia, se inició en 1742, y no fue sin problemas, ya que los vecinos (especialmente los monjes de San Francisco) se quejaban de la magnitud de la obra, que les quitaba luz y ventilación y que, además, ocuparía tierras pertenecientes a los de San Martín. La disputa se saldó rebajando la altura de la iglesia franciscana