La historia de "La Peña Gorda" está unida a la Virgen María. Cuenta la leyenda que estaba cuidando del rebaño y utilizaba piedras para dirigir el camino de las ovejas. Una de las piedras cayó al suelo y la Virgen la recogió, pero esto sucedió de nuevo una segunda vez y, fue a la tercera, cuando decidió no recogerla más y continuar su camino. Parece que la piedra hubiese decidió quedarse allí para siempre. La roca hubiera sido una roca más, pero al dejarla allí la virgen, al decidir no recogerla de nuevo, cuentan que la roca fue creciendo hasta alcanzar el tamaño que tiene en la actualidad. Otra de las leyendas que cuentan los habitantes de este pueblo singular es que dentro de la roca se esconde un becerro tallado en oro de grandes dimensiones.