En la cumbre del cerro se encuentra el Castillo de Medina Sidonia. Las actuaciones arqueológicas realizadas en este espacio indican la existencia de tres fortificaciones superpuestas temporalmente: restos del castellum militarromano (siglo I a. C.), restos del alcázar árabe (siglo XI) y restos del castillo medieval (siglo XV). En el lugar también se han hallado restos de la villa vieja, de origen musulmán, situada cerca de la Torre de Doña Blanca.