Construido entre 1675 y 1690, habitó Pedro de Alcántara Téllez-Girón y Pimentel, hijo del IX duque de Osuna (Pedro de Alcántara Téllez-Girón y Pacheco), II príncipe de Anglona, IX marqués de Jabalquinto, prócer del Reino y senador vitalicio, pasando más tarde a manos de los Duques de Benavente. Antiguamente sus bajos acogieron unos túneles secretos que comunicaban con el Palacio Real.
Fue reformado por primera vez en 1776 por Vicente Barcenilla y más tarde, entre 1802 y 1803 por Antonio López Aguado, adaptándolo este último a la moda neoclásica del momento. Sus famosos jardines asimismo fueron reformados en 1920 por Javier de Winthuysen. Posteriormente ha sido rehabilitado en varias ocasiones entre 1983 y 1986.

(19 de Abril de 2022)