En 1580, tras haber trasladado la corte a
Madrid en 1561, Felipe II encargó el proyecto de remodelación de la
plaza a Juan de Herrera, comenzándose el derribo de las «
casas de manzanas» de la antigua plaza ese mismo año. La construcción del primer
edificio de la nueva plaza, la
Casa de la
Panadería, comenzaría en 1590 a cargo de Diego Sillero, en el solar de la antigua lonja. En 1617, Felipe III, encargó la finalización de las obras a Juan Gómez de Mora, quien concluirá la plaza en 1619.