Aunque su configuración actual es
fruto de las importantes reformas realizadas en el siglo XVII, sus orígenes se remontan a la fundación en 1574 por
Santa Teresa de Jesús del primer
Convento de Carmelitas Descalzas. Más adelante, la
casa pasó a manos del Marquesado de Lozoya, de donde toma su nombre, y al mayorazgo de los
Cáceres, por lo que también es conocida como Casa de los Cáceres o Casa del Mayorazgo de los Cáceres, ha informado hoy la Junta de
Castilla y León.