Ya existente antes de 1570. Se ha atribuido la obra a Juan Bautista de Toledo y Antonio Sillero, y ampliada por Juan de Herrera.
Su primer dueño fue un montero de Felipe II, quien mandó construir el edificio original para su hija, que se casó en el año de 1569 con un varón de añejo linaje madrileño (los Zapatas), que enseguida partió a la guerra como capitán de los tercios de Flandes, donde murió en la batalla de San Quintín.​ Poco después moriría la viuda dando origen a una dilatada leyenda en el tiempo. La casa fue entonces adquirida por Juan de Ledesma, secretario de Antonio Pérez.

(3 de Diciembre de 2017)