Es tradición popular entre los naturales de Peñalsordo creer que el pueblo fue fundado por un cabrero llamado Pedro Peña, que tenia el defecto físico de una gran sordera. De ahí, Peña, por su apellido, y el Sordo, por su carencia auditiva, Peñas el Sordo, y más tarde Peñalsordo.