El palacio se mantiene como residencia real hasta que el emperador Carlos y se lo dona a las madres agustinas, que ocupaban el Convento de Extramuros de Madrigal, diciendo "de que no nos servimos por las pocas veces que en ella estamos". La donación se realiza, en Toledo, a instancias del corregidor López de Montoya el 8 de agosto de 1521 y es sancionada, a instancias de doña María de Castañeda, por Cédula Real de 24 de marzo de 1525 que firma en Madrid, el 11 de septiembre, siendo priora del convento...
