Al parecer el nombre de Cancho Castillo lo toma de una especie de pequeña atalaya que fue instalada allí durante la Edad Media, accesible sólo mediante cuerdas o escalas. En la parte posterior del cancho hay una gran cavidad, un pequeño laberinto de galerías y espaciosas dependencias que sirvieron de refugio y vivienda a pastores y habitantes de la zona desde el neolítico. Junto a los grabados de la “piedra labrá” hay un pequeño altar esculpido sobre una roca, por lo que es muy probable que este misterioso lugar fuese usado como santuario rupestre. El viento, el sol y la lluvia han esculpido a su alrededor las formas caprichosas de las rocas de la zona, que asemejan pieles de dinosaurio, cuerpos y cabezas de enormes animales petrificados, serpientes y tiburones, que parecen custodiar eternamente el secreto de la Piedra Labrada y del Cancho Castillo.