Edificio neoclásico del siglo XVIII encargado por Carlos III y diseñado inicialmente por José de Hermosilla y continuado posteriormente por Francesco Sabatini, aunque sólo se construyó una parte del proyecto (el edificio previsto llegaba hasta la calle Atocha y la fachada principal que hoy se ve iba a ser la de uno de los patios interiores) y prácticamente nada de la ornamentación, causa de su aspecto desangelado.
A partir de 1980 se hicieron renovaciones y adiciones extensas. En 1988 partes del nuevo museo se abrieron al público, ese mismo año un decreto lo declaraba Museo Nacional, lo que obligó a replantearse sus colecciones a fin de ofrecer un panorama convincente del arte español del siglo XX.