Es tradición popular decir que el nombre de Peñalsordo procede del cabrero Pedro Peña, que era sordo; de ahí Peña el Sordo y después Peñalsordo. Por el contrario, dada la escabrosidad del terreno, donde abundaban y abundan las peñas, se piensa que el nombre procedía de algún topónimo que hiciese referencia a la posesión de algún personaje, ciertamente sordo, pero que no tendría nada que ver con el susodicho Pedro Peña, que es probable que no existiese jamás, sino que el nombre debería proceder de alguna roca o peña cuyo dueño fuese algún sordo. Un documento de 1461 certifica el nombre de La Peña del Sordo, después Peña del Sordo, más tarde Peña el Sordo y hoy Peñalsordo.