Se dice que el castillo que actualmente contemplamos fue levantado por Diego de Zúñiga, primer conde de Miranda. Este personaje, casado con Aldonza de Avellaneda, tuvo una intensa vida de andanzas amorosas, que los lugareños transmitían de boca en boca. Una de ellas nos dice que llegó incluso a secuestrar, loco de pasión, a la propia condesa de Treviño, a la que ordenó encerrar en otro castillo que poseía en la vallisoletana población de Iscar. El hijo de la condesa, que no dudó en solicitar el apoyo...