Durante los siglos XVI y XVII, el edificio fue utilizado como prisión de notables, entre los que destacan la princesa de Éboli y Antonio Pérez, acusados del asesinato del secretario de D. Juan de Austria.
En este caso, imaginamos a la princesa entreteniendo sus horas de cautiverio asomada a la ventana. Al igual que ocurriría después en su palacio de Pastrana, donde tenía concedida una hora de asueto, asomada al enrejado balcón que visualizaba la Plaza de la Hora, así llamada por esta orden de Felipe II.