Llevó a aquel apartado lugar sus preciosos muebles, su vajilla de plata, su magnífico vestuario y cincuenta servidores; una vez instalado, ocupaba sus horas en largas charlas sobre religión con el jesuita Francisco de Borja, que antes había sido el gran duque de Gandía, y pudo de nuevo consagrarse a sus aficiones, las matemáticas y la mecánica, e incluso llegó a construir algunos relojes. De hecho, sus embajadores en el extranjero, conocedores de su debilidad por ellos, le enviaban los más preciosos y artísticos relojes procedentes de diversos países europeos, piezas únicas en su género con las que entretenía su tiempo. Coleccionó además pintura de los grandes artistas de la época, como Tiziano, y de los primitivos italianos y flamencos. Leía libros piadosos y de historia (sobre todo a Julio César, Tácito, Boecio y San Agustín), cantaba con los monjes en el coro y organizaba solemnes funerales por su alma que presenciaba tétricamente en la iglesia del monasterio.