Palacio Ducal: Ocupa todo un lateral de la plaza. Sus arquitectos fueron Francisco de Mora y fray Alberto de la Madre de Dios, considerados los mejores de la época. Durante la Guerra Civil Española se utilizó el edificio como cárcel. En la actualidad es un gran parador nacional de turismo. El porqué de las cuatro torres del palacio de Lerma, es debido a un embuste del propio duque de Lerma al rey.

Por definición, a los palacios ducales se les otorgaban dos torres, pero el duque preguntó al rey si podía poner dos torres en su palacio, omitiéndole la información de que eran dos torres más las que quería poner. El rey le concedió el permiso, pues este pensó que se refería a las dos torres que podía poner y no a dos torres más, y así fue cómo colocó las cuatro torres en su palacio.

(19 de Septiembre de 2019)