En la Edad Media, los piratas del norte de África aterrizaron repetidamente en la
bahía y comenzaron sus incursiones desde ahí. Los restos de numerosas estructuras de defensa y atalayas de los siglos XVI y XVII todavía son testios visibles de las medidas de protección adoptadas en ese momento.
Port d'Andratx no recibió su aspecto actual hasta la llegada del turismo en la década de 1960.