Siglos XI-XIX. Edificado sobre los restos de la fortaleza romana. Fue sucesivamente transformado desde Alfonso VI (s. XI) hasta Felipe II (s. XVI). Residencia de los Reyes de Castilla durante la Edad Media. El "Palacio Viejo" fue ampliado en el siglo XV con las salas del Solio, de la Galera, de las Piñas, de Reyes, del Cordón y la Capilla. La gran torre almenada es llamada de Juan II, a quien se debe su inicio constructivo.
Felipe II lleva a cabo las obras del Patio de Armas y las pendientes cubiertas de pizarra. Fue Prisión del Estado en los siglos XVII y XVIII.