Para fenicios, cartagineses y
romanos, Vejer constituía un fuerte núcleo defensivo frente a los íberos del interior para defender sus factorías de
pesca comercial y las almadrabas que fueron desarrollada por ellos mismos. Pero sin duda, la cultura que más huella ha dejado en la localidad gaditana es la musulmana, que la dominó durante más de cinco siglos. De la época quedan algunos vestigios como la
puerta del
castillo, parte de las
murallas y, por supuesto, el entramado de las
calles del
casco antiguo.