La Alcazaba árabe es originaria del siglo IX, fue remodelada posteriormente en varias ocasiones. Conserva escasamente alterada su estructura almohade del siglo XII. Tiene tres puertas principales: Capitel, Alpéndiz y de los Carros o de Yelbes y un portillo llamado de la Traición. Hasta el siglo XVI casi toda la población vivía en su interior, a excepción del arrabal de noroeste. Durante el periodo árabe existieron en su interior tres mezquitas, los suntuosos palacios de los monarcas aftásidas y el renacentista edificado en el siglo XVI por los Suárez de Figueroa, hoy convertido en el Museo Arqueológico Provincial.