En la consecucíón del Museo Josefino destacaron dos figuras clave: Frédéric Quilliet y Manuel Nápoli. Ambos realizaron una actividad incesante y no siempre lícita.

El gobierno de José Bonaparte nombra a Frédéric Quilliet inspector artístico y, posteriormente, director-conservador del futuro Museo. Además de encargarse del traslado de pinturas desde el Escorial a Madrid, viajó a Andalucía para seleccionar las mejores obras. Eligió el Palacio de Buenavista como sede del Museo Josefino. Su figura ha quedado vinculada con el saqueo de obras de arte que salieron de España durante el periodo napoleónico.

Manuel Nápoli, aunque de origen napolitano, se formó artísticamente en la Academia de Bellas Artes de San Fernando. Fue contratado por Quiliet para restaurar las obras del depósito del Rosario, al mismo tiempo se encargó de seleccionar las pinturas para la futura pinacoteca.