En el castillo residieron los señores de Buitrago (Marqués de Santillana y los Duques del Infantado) y también importantes personajes de la monarquía castellana y española. Entre otros visitaron el Alcázar: Juan II, Juana "la Beltraneja" y su madre, Felipe III, etc. Antes de la guerra civil se construyó en su interior una plaza de toros en la que se celebran diversos actos culturales.