Cuando salió de la cárcel, Brummel ya no era ni una sombra de lo que había sido. Perdía constantemente la memoria y se alojó en una pequeña habitación del hotel Inglaterra, de tercera o cuarta clase. Allí pasaba horas enteras sin moverse de su habitación. Un día una inglesa de la que no se conoce el nombre se presentó en el hotel preguntando por Brummel y alquiló una habitación que daba a la escalera para verlo pasar. Lo que vio fue un hombre de cara idiotizada, hablando consigo mismo y vestido pobremente. Cuando el dueño del hotel subió a ver qué quería la señora en cuestión se la encontró llorando sentada en un sillón. Probablemente era una de tantas admiradoras que Bmmmel había tenido en Londres.