El color azul de la casa la identificaba como lugar donde se ejercía la prostitución. Según la tradición, esta casa y otras que existieron en la localidad, era lugar que frecuentaban los soldados y otros miembros del séquito del Emperador durante su vida en el Palacio aledaño al Monasterio de Yuste.