En 1540, no teniendo prácticamente más influencia en
México regresa a
España y participa con Carlos Quinto del sitio de Argelia. La guerra terminada, regresó a Castilla. Fatigado y habiendo perdido todo crédito, murió el 2 de diciembre de 1547 en Castilleja de la Cuesta (
Sevilla).