Su origen está en el pueblo de Las Asperillas. Ya en tiempos de Alfonso VIII, se habla de este asentamiento, como lugar de caza de osos y lobos. En la época de Guerra de la Independencia con los franceses se fue despoblando el pueblo de las Asperillas y los habitantes fueron desplazandose hacia la sierra, a los secaderos de castañas. De ahí surge el nombre de Casas del Castañar de Asperillas. El último habitante de las asperillas fue el cura, que se negaba a abandonar el pueblo original. Por lo que se cree en la iglesia actual, se conservan de la iglesia del pueblo anterior la pila bautismal y una piedra en la que se habla de un terremoto del siglo XVIII.