Erigido en recuerdo de de la Infanta Isabel fue designada por su hermano el rey Enrique IV en marzo de 1467como Señora de Casarrubios con Valmojado y Villamanta como lugares anejos. La concesión llevo aparejada la asignación a la infante de unas rentas ganaderas para su mantenimiento, de las que 140.000 maravedís fueron recaudados en el Passo e Puerto de Valmojado en la Cañada Real Segoviana.