El palacio se mantiene como residencia real hasta que el emperador Carlos y se lo dona a las madres agustinas, que ocupaban el Convento de Extramuros de Madrigal, diciendo "de que no nos servimos por las pocas veces que en ella estamos". La donación se realiza, en Toledo, a instancias del corregidor López de Montoya el 8 de agosto de 1521 y es sancionada, a instancias de doña María de Castañeda, por Cédula Real de 24 de marzo de 1525 que firma en Madrid, el 11 de septiembre, siendo priora del convento la tía del emperador, doña María de Aragón.
Una vez realizado el traslado, la congregación decidió nombrarlo convento de Santa María de Gracia, el mismo nombre que había definido al convento de extramuros cuando ellas lo ocuparon.
Una vez realizado el traslado, la congregación decidió nombrarlo convento de Santa María de Gracia, el mismo nombre que había definido al convento de extramuros cuando ellas lo ocuparon.
