Se presupone la existencia de un
torreón defensivo en la época
romana, pero, a falta de datos más concretos, se puede justificar la existencia de una fortaleza allá por el año 931.
Dicha fortaleza iría sufriendo sucesivas modificaciones a lo largo de los siglos XIII, XV y XVI.
En el interior del
castillo se encontraba el
Palacio de los Ponce.
Estos fueron unos de sus primeros dueños; pasando después a los Rodriguez Neyra, los Quiñones, los Condes de Benavente y los Duques del Infantado.