Convento fundado por Santa Teresa y los Duques de Pastrana en 1569, perteneció a la Reforma del Carmelo, hasta que, tras los problemas con la Éboli, fue ocupado por monjas franciscanas concepcionistas. Durante tres meses permaneció Santa Teresa en este convento, organizando su futura existencia.
Tras morir en 1573 el duque don Ruy Gómez, su mujer, doña Ana, la Princesa de Éboli, se enclaustró en este convento. De entonces es la frase de la priora sor Isabel, al enterarse de esta profesión: " ¿La princesa, monja? Ya doy la casa por deshecha" Y así fue. Doña Ana no hacía caso de la Regla carmelitana, por lo que Santa Teresa dispuso que las monjas abandonaran, en secreto, el convento.
Las trece religiosas que entonces lo habitaban salieron una noche rumbo a Segovia, dejándolo vacío. Inmediatamente, doña Ana se ocupó en poblarlo con otra orden y, en 1574, llegaron las franciscanas concepcionistas que todavía hoy lo ocupan. Con ellas profesó en 1592 la hija de la princesa de Éboli, doña Ana de Silva y Mendoza, tras la muerte de su madre, de la que se ocupó en sus últimos años cuando se encontraba prisionera en su palacio de Pastrana.