Edificado sobre los restos de una fortaleza romana, fue excesivamente transformado desde Alfonso VI (s. XI) hasta Felipe II (s. XVI). Por iniciativa de Carlos III se funda el Real Colegio de Artillería. La gran torre almenada es llamada de Juan II, a quien se debe su inicio constructivo.