En 1506 se entrevistan en este lugar Felipe el Hermoso y el Cardenal Cisneros.
En la edad moderna fueron construidas bajo la dirección de los ingenieros de la Corona, Juan de Villarroel y Carlos de Grunemberg, dos recintos auxiliares amurallados que defendían los existentes
conventos de los franciscanos y de los jesuitas. En 1510 tornó a manos de la realeza hasta que Fernando el Católico la expende al arzobispo Alonso de Fonseca.