Se desconoce el momento en que se empezó a construir, pero en el siglo XV, era uno de los más importantes de castilla. El recinto amurallado que vemos hoy data de los años del Infante Don Juan Manuel y de Don Álvaro de Luna. El primero construyó el perímetro exterior y las torres albarranas. El segundo, levantó un magnífico palacio dentro del castillo.