O acervo musical do Instituto Moreira Salles, que hoje totaliza cerca de 100 mil músicas, das quais aproximadamente 28 mil gravações estão digitalizadas e disponíveis neste site, começou a ser formado em 2000. Naquele ano o IMS recebeu a guarda do arquivo pessoal de Alfredo da Rocha Vianna Filho, o Pixinguinha (1897-1973). Composto por documentos pessoais e um grande lote, com cerca de mil conjuntos de partituras, o arquivo é um dos mais preciosos legados da história do arranjo de música no Brasil. Após um processo de digitalização e catalogação, o conjunto vem sendo estudado por um colegiado de músicos para, em breve, ser entregue ao público revisado e editorado em software de última geração.

Na esteira dessa iniciativa, foi adquirido em 2001 o acervo do pesquisador, historiador, crítico e jornalista José Ramos Tinhorão. O material, que compreende uma variedade de coleções de interesse para o estudo da cultura urbana brasileira e da música popular, é composto por discos, partituras, fotos, filmes, scripts de rádio, programas de cinema e teatro, cartazes, jornais, revistas e por uma biblioteca especializada. Parte de sua discoteca, da qual se destaca uma rara coleção com cerca de 6,5 mil discos de 78 rpm, já está disponível on-line.

Um ano depois, o IMS inaugurou em seu centro cultural do Rio a Reserva Técnica Musical. Trata-se de uma instalação especialmente construída para abrigar acervos musicais, o que permitiu a guarda e a disponibilização de mais uma coleção de peso: a do fotógrafo e pesquisador Humberto Franceschi. Composta por 6 mil discos de 78 rpm e cerca de 12 mil músicas, ela contém valiosos registros da música popular do início do século XX e está integralmente digitalizada. 

Às coleções de Pixinguinha, Tinhorão e Franceschi foram acrescentadas as de Ernesto Nazareth (1863-1934), pianista e compositor seminal da formação da música popular brasileira; Walter Silva (1933-2009), jornalista e produtor musical, conhecido como Pica-Pau, que realizou importantes gravações de artistas ligados às origens do movimento da bossa nova; e a de Elizeth Cardoso (1920-1990), uma das mais importantes intérpretes brasileiras, com arranjos e orquestrações de importantes maestros.

Em 2005, através de um convênio firmado com a Sociedade Brasileira de Autores Teatrais (SBAT), o IMS recebeu a guarda do acervo de Chiquinha Gonzaga (1847-1935), pianista e compositora pioneira da música brasileira. E no ano seguinte, uma pequena coleção de partituras e orquestrações do compositor e maestro Hekel Tavares (1896-1969).

Destacam-se também entre o acervo musical do IMS: uma hemeroteca especializada em música popular brasileira, organizada pela jornalista Maria Luiza Kfouri, doada ao Instituto em 2002; a coleção de gravações do músico e chorão Antônio D’Áurea (1912-1998), incorporada em 2001, e a coleção de partituras e documentos pessoais do compositor e cantor André Filho (1906-1974), autor de Cidade Maravilhosa, recebida em doação em 2006.