El conjunto actual parece haber sido construido en los siglos XIV y XV, probablemente por el infante don Pedro (hijo mayor de Alfonso X el Sabio), o por su hijo don Sancho. Fue propiedad de la familia real hasta el año 1458, cuando fue donado por el príncipe Enrique (futuro Enrique IV) a Juan de Silva.