Palacio de los Vargas.
Plaza de la Paja.
Junto a la capilla del Obispo, en el lado oriental del recinto, se alza el palacio de los Vargas, también del siglo XVI, pero cuya fachada fue transformada en el siglo XX, adoptándose una solución historicista y como prolongación de la capilla del Obispo, de forma que ambos conjuntos muestran idéntica fachada.

Plaza de la Paja.
La plaza se encuentra en el llamado Madrid de los Austrias, en la antigua morería, centro histórico de la capital. Es uno de los rincones más singulares de la época medieval, en el Madrid más castizo.
La atraviesa de norte a sur la costanilla de San Andrés, próxima a la calle de Segovia, y en ella confluyen diferentes vías de trazado medieval: por el este desemboca la calle del Príncipe de Anglona y por el oeste las calles de Alamillo, del Toro, Alfonso VI y de la Redondilla.
Durante los siglos XIII y el XIV, la plaza fue el gran mercado de Madrid. Entró en decadencia a partir del siglo XV, cuando el rey Juan II de Castilla ordenó construir la plaza del Arrabal (la plaza Mayor en la actualidad), a donde se desplazó la actividad comercial de la villa.
En su entorno estaban situados diferentes palacios, de los que sólo se conserva hoy día el Palacio de los Vargas.
La plaza toma este nombre porque en ese lugar se subastaba la paja que se otorgaba a los capellanes de la vecina capilla del Obispo para el mantenimiento de las mulas que poseían.
La capilla del Obispo aparece adosada al complejo parroquial de la iglesia de San Andrés, aunque sin acceso directo al mismo. Fue construida entre 1520 y 1535, a instancias de la Casa de los Vargas, para albergar los restos mortales de San Isidro, quien, en el siglo XII, estuvo bajo la servidumbre de esta familia. Las disputas surgidas con la parroquia de San Andrés impidieron que el cuerpo del santo se custodiase en el edificio de los Vargas, siendo trasladado a la capilla de San Isidro, anexa a la citada iglesia, y finalmente a la colegiata de San Isidro.
Al norte de la plaza de la Paja se conserva el jardín del Príncipe de Anglona, una de las escasas muestras de jardines nobiliarios del siglo XVIII de Madrid. Junto a él, aunque ya fuera de la plaza de la Paja, se levanta el palacio del Príncipe de Anglona, obra del siglo XVI.
Al inicio del siglo XXI se urbanizó este espacio con un parque de tierra prensada con algunos árboles dispuestos en cuadrantes y delimitados por bordillos de granito, conjunto que permite salvar el desnivel del terreno. Pocos años antes se adornó la plazuela con una escultura de bronce, siguiendo la moda de figuras callejeras de tamaño natural, que representa a un hombre leyendo un periódico sentado en un banco de piedra adosado a la fachada del palacio de los Vargas.
El antiguo e ilustre Colegio de San Ildefonso, cuyos niños cantan todos los años los premios de la popular Lotería de Navidad, se encuentra en la plaza de la Paja haciendo esquina con las calles Redondilla y Alfonso VI. El Colegio de San Ildefonso es la Institución dedicada a la infancia más antigua de Madrid con más de 400 años de existencia.