El proyecto de creación de una pinacoteca nacional se remonta a principios del siglo XIX. Un impulso importante en la concreción de esta idea se produce durante la Guerra de la Independencia. El 20 de diciembre de 1809, en pleno conflicto entre españoles y franceses, se promulga un decreto en el que se plasman las pretensiones de la política artísitica del reinado de José I: la fundación del Museo del Pintura, denominado Museo Josefino, el envío a Napoleón de una selección de obras de pintores españoles y la exposición de otras, como adorno de los palacios de las Cortes y el Senado.

El Palacio de Buenavista, confiscado a Godoy, será el emplazamiento elegido para albergar la galería pictórica mediante un decreto de 22 de agosto de 1810. Para la organización del Museo Nacional se nombra una comisión integrada por Francisco de Goya, Manuel Nápoli y Frédéric Quilliet, que se encargará de seleccionar los cuadros que serán trasladados a Buenavista.

El mal estado en el que se encontraba el edificio, exigía realizar obras de reparación para habilitarlo. En 1810 Silvestre Pérez, arquitecto municipal, realizará los correspondientes informes sobre el estado del edificio. Los posteriores acontecimientos redujeron su papel al de un almacén.