La primitiva construcción databa de la época del cardenal Cisneros y fue realizada, por razones prácticas, en ladrillo. Posteriormente, debido al estado de deterioro en que se encontraba la obra originaria, sería construido el actual patio en granito.