Filho de Ferdinando e Emma Rubinato, imigrantes italianos da localidade de Cavárzere, província de Veneza. Desembarcaram em Santos em 15 de setembro de 1895, passaram pela Hospedaria dos Imigrantes e foram trabalhar nas lavouras do município de Tietê. Aos dez anos de idade sua certidão de nascimento foi adulterada para que o ano de nascimento constasse como 1910 (havia nascido realmente em 1912) possibilitando que ele trabalhasse de forma legalizada. (À época a idade mínima para poder trabalhar era de doze anos)

Abandonou a escola cedo, pois não gostava de estudar. Necessitava trabalhar para ajudar a família numerosa - Adoniran tinha sete irmãos. Procurando resolver seus problemas financeiros os Rubinato viviam mudando de cidade. Moraram primeiro em Valinhos (então distrito de Campinas), depois Jundiaí, Santo André e finalmente São Paulo.

Ainda jovem mudou-se com a família para Jundiaí. Em 1924 vão para Santo André, na grande São Paulo, onde começa a trabalhar para ajudar a família, seu primeiro trabalho: entregador de marmitas. Aos quatorze anos, já adolescente, andava pelas ruas da cidade fazendo as entregas e surrupiando alguns bolinhos pelo caminho.
"- A matemática da vida lhe dá o que a escola deixou de ensinar: uma lógica irrefutável. Se havia fome e, na marmita oito bolinhos, dois lhe saciariam a fome e seis a dos clientes; se quatro, um a três; se dois, um a um".

Aos 22 anos vai para São Paulo, onde se empregou como vendedor de tecidos, foi depois: tecelão, balconista, pintor de paredes e até garçom. No começo da década de 30, passou a frequentar e participar de programas de calouros da rádio Cruzeiro do Sul de São Paulo. Adotou o pseudônimo de Adoniran Barbosa. Adoniran, nome de seu melhor amigo, e Barbosa em homenagem ao cantor Luís Barbosa, seu ídolo.
“- Foi assim; o Luis Barbosa, cantor de samba carioca, meu amigo, vinha sempre pra São Paulo e a gente passeava aqui. Adoniran era um rapaz do correio, muito meu amigo também. Aí juntei os dois e ficou assim: Adoniran Barbosa. Meu nome mesmo é João Rubinato. Uso Adoniran desde que comecei cantando. Como ator também. Eu sou mais ator que compositor. Sou mais rádio-ator. Mas faço samba também. Hoje sou mais cantor e compositor. Hoje dá mais resultado. Ator é fogo na butina. Agora estou aposentado tranqüilamente como radialista. Desde 1969. Faz tempo!”

Em 1933, depois de ser desclassificado inúmeras vezes devido à sua voz fanha, Adoniran conquistou o primeiro lugar no programa de Jorge Amaral cantando "Filosofia" de Noel Rosa. Em 1935, compôs, em parceria com o maestro e compositor J. Aimberê, sua primeira música "Dona Boa", eleita a melhor marcha do Carnaval de São Paulo naquele ano.

Sua mãe morreu em 1939 e seu pai em 1943.

Em 1941 é convidado para atuar na Rádio Record, onde trabalhou por mais de trinta anos como ator cômico, discotecário e locutor. Em 1955 compôs seu primeiro sucesso, "Saudosa Maloca" (1951), gravado pelo conjunto Demônios da Garoa. Em seguida lançou outras músicas, como "Samba do Arnesto" (1953), "Abrigo de Vagabundo" (1959) e a famosa "Trem das Onze" (1964).

Em suas obras, retratava o cotidiano das camadas pobres da população urbana e as mudanças causadas pelo progresso. Para isso, fazia uso da maneira de falar dos moradores de origem italiana de alguns bairros paulistanos, como Barra Funda e Brás. Uma de suas últimas composições foi "Tiro ao Álvaro", gravada por Elis Regina em 1980.

Os Demônios da Garoa foram os grandes intérpretes de suas composições, principalmente os sambas que citavam locais da cidade conhecidos dos paulistanos, como os bairros Jaçanã (Trem das Onze) e Brás (Samba do Arnesto), e Avenida São João (Iracema). Elis Regina gravou "Iracema" e "Tiro ao Álvaro" pouco antes da morte de ambos, que vieram a falecer quase na mesma época. Considerado o mais importante nome do samba paulistano, Adoniran retratou a capital e suas idiossincrasias, utilizando-se do "palavreado do povo" paulistano de ascendência italiana, exagerando nos erros de português: como na canção "Tiro ao Árvaro" que significa na verdade Tiro ao Alvo.

Às críticas que recebia Adoniran rebatia: "- Só faço samba pra povo. Por isso faço letras com erros de português, porquê é assim que o povo fala. Além disso, acho que o samba, assim, fica mais bonito de se cantar".

No rádio ficou famoso seu personagem Charutinho. Além dos filmes dos anos 50 e anos 60, tais como Candinho, o longa-metragem de 1953 de Mazzaropi, participou como ator nos anos 70 de telenovelas da TV Tupi, Mulheres de Areia, na qual fazia um personagem que se dizia autor dos sambas de Adoniran.

Casou-se em 8 de dezembro de 1936 com Olga Krum, com quem teve sua única filha, Maria Helena Rubinato, nascida em 23 de setembro de 1937. João e Olga separam-se em 1937 mas desquitaram-se judicialmente em 1943 e a filha ficou aos cuidados da irmã de João, Ainez Rubinato Salgado (1909-1992). Após o desquite, constituiu nova família com Matilde de Lutiis, que o acompanhou até a morte, mas nunca tiveram filhos. Olga Krum constituiu nova família com o advogado José Luís Varela de Almeida (1915-2010), com quem teve outras quatro filhas. Olga morreu em 1991.Sua filha, Maria Helena Rubinato, é tradutora.

Nos últimos anos de vida, com o enfisema avançando e a impossibilidade de sair de casa à noite, dedicou-se a recriar alguns dos espaços mágicos que percorreu na vida. Gravou algumas músicas ainda (entre elas "Vide Verso Meu Endereço"), mas com dificuldade - a respiração e o cansaço não lhe permitiam muita coisa mais - deu depoimentos importantes, reavaliando sua trajetória artística. Compunha muito pouco.

Inventou para si uma pequena arte e com pedaços velhos de lata, de madeira, fazia rodas-gigantes, trens de ferro, carrosséis, movidos a eletricidade. Também vários e pequenos objetos da ourivesaria popular - enfeites, cigarreiras, bibelôs. Fiel até o fim à sua escolha, às observações que colhia do cotidiano, criava um mundo mágico. Quando recebia alguma visita em casa, que se admiravam com os objetos criados pelo sambista, ouviam dele que “...alguns chamavam aquilo de higiene mental, mas que não passava de higiene de débil mental...”  Como se vê, cultivava ainda o humor. Marca registrada dele aliás, que aliada à observação da linguagem e dos fatos trágicos do cotidiano, fizeram dele um sambista tradicional e inovador.

Boêmio, com direito a mesa cativa no salão principal do Bar Brahma, um dos mais tradicionais de São Paulo, Adoniran passou os últimos anos de sua vida triste, sem entender o que tinha acontecido à sua cidade. "- Até a década de 60, São Paulo ainda existia, depois procurei mas não achei São Paulo. O Brás, cadê o Brás? E o Bexiga, cadê? Mandaram-me procurar a Sé. Não achei. Só vejo carros e cimento armado".

Adoniran morreu em 23 de novembro de 1982, aos 72 anos de idade, pobre e quase esquecido. Estava internado no Hospital São Luís tratando do enfisema pulmonar e no momento de sua morte estavam presentes apenas sua mulher, Matilde e uma irmã dela.  Foi sepultado no Cemitério da Paz, conforme seu desejo. Deixou sua companheira de mais de quarenta anos e um vazio na música brasileira.

Sua memória está materializada na Praça Dom Orione, onde foi construído um busto em sua homenagem. Adoniran Barbosa ficou eternizado como o Poeta do Bixiga (Bela Vista). Em Itaquera existe a Escola Adoniran Barbosa; no Jaçanã existe uma rua chamada "Trem das Onze".
Grande boêmio, sua famosa  frase "Nóis viemo aqui pra beber ou pra conversar?", foi imortalizado em um comercial de TV para uma cervejaria.