Edificado sobre los restos de una fortaleza romana, fue excesivamente transformado desde Alfonso VI (s. XI) hasta Felipe II (s, XVI). De él salió Isabel la Católica el 13 de diciembre de 1474 para ser proclamada Reina de Castilla en la Plaza Mayor de Segovia. Felipe II celebró en él su boda con Ana de Austria.