Es un enorme edificio de planta cuadrada con cuatro torres en sus esquinas y magnífico patio porticado central. El Palacio de Lerma fue iniciado en el año 1601 por encargo del Duque de Lerma. Su arquitecto fue Francisco de Mora, que lo llevó a cabo siguiendo las líneas herrerianas ya difundidas desde el Monasterio de El Escorial. La portada es claro ejemplo de su arquitectura renacentista con frontispicio y columnas, más dos escudos laureados del duque de Lerma.
