El edificio del actual Instituto San Isidro tuvo su sede el Colegio Imperial. Este colegio, fundado en 1603 por la Emperatriz María de Austria, hija de Carlos V, nace con el fin de educar a los hijos de los príncipes y nobles, fue regido por los jesuitas hasta su expulsión de España, promulgada por Carlos III, en 1767. Ejerció gran influencia en el ámbito cultural y pedagógico madrileño, como también, tuvo una importante proyección artística e intelectual.