El viaje fue penoso por las frecuentes tormentas. Y más angustioso aún fue el regreso, pues a las tempestades se unió el problema de la perforación del casco de los navíos por un molusco de las aguas tropicales. Pese a la prohibición de los reyes, Colón puso proa hacia Santo Domingo, dado el lamentable estado de las naves, de la tripulación y su propio estado de salud, bastante delicado. No pudo llegar, empero, a La Española y tuvo que improvisar un asentamiento provisional en la bahía de Santa Gloria, en el norte de Jamaica, el 24 de junio. Allí, la situación llegó a ser crítica. Algunos expedicionarios lograron llegar a La Española en canos de indios. Pero, enterado de las penurias de Colón y su expedición, el gobernador Ovando se negó a proporcionarle medios para el regreso. Mientras tanto, Colón tuvo que hacer frente en Jamaica a la creciente hostilidad de los indígenas y a la sublevación de la mitad de sus hombres. Al cabo, el 29 de junio de 1504 los supervivientes lograron abandonar la isla y llegar poco después a La Española, arribando finalmente a Sanlúcar el 7 de noviembre de 1504.