También es conocido como Convento de San Pedro, por existir en ese lugar una ermita dedicada al apóstol. Fue fundado en 1569 por Santa Teresa de Jesús, que había sido llamada a Pastrana por la princesa de Éboli para fundar varios conventos del Carmelo. Fue convento de frailes carmelitas descalzos y hoy está parcialmente ocupado por una comunidad de franciscanos.
Destaca la iglesia, de comienzos del XVII, de una sola nave con pilastras toscanas, arcos de medio punto y bóveda de cañón.