El proyecto arquitectónico de la actual pinacoteca fue aprobado por Carlos III en 1786. Supuso la culminación de la carrera de Villanueva y una de las cimas del Neoclasicismo español, aunque dada la larga duración de las obras y avatares posteriores, el resultado definitivo se apartó un tanto del diseño inicial.
Las obras de construcción se desarrollaron durante los reinados de Carlos III y Carlos IV, quedando el
edificio prácticamente finalizado a principios del siglo XIX. Pero la llegada de las tropas francesas a
España y la Guerra de la Independencia dejaron su huella en él; se destinó a fines
militares (cuartel de caballería) y cayó prácticamente en un estado de
ruina; las planchas de plomo de los
tejados fueron fundidas para la fabricación de balas.