Na costa oeste da América, as empresas mais valiosas do mundo estão tentando tornar a inteligência artificial mais inteligente. O Google e o Facebook estão se gabando de experimentos usando bilhões de fotos e milhares de processadores de alto desempenho. Mas no final do ano passado, um projeto no leste do Tennessee silenciosamente ultrapassou a escala de qualquer laboratório de IA corporativa. E era dirigido pelo governo dos EUA.
Supercomputador do governo dos EUA bate recordes
O projeto recorde envolveu o supercomputador mais poderoso do mundo, Summit, no Oak Ridge National Laboratory. Este carro ganhou a coroa em junho passado, devolvendo o título aos Estados Unidos cinco anos depois, quando a China liderou a lista. Como parte de um projeto de pesquisa climática, um computador gigante lançou um experimento de aprendizado de máquina mais rápido do que nunca.
O Summit, cobrindo uma área equivalente a duas quadras de tênis, usou mais de 27.000 GPUs poderosas neste projeto. Ele usou seu poder para treinar algoritmos de aprendizado profundo, a mesma tecnologia que sustenta a inteligência artificial avançada. No aprendizado profundo, os algoritmos realizam exercícios a um bilhão de bilhões de operações por segundo, conhecidos nos círculos da supercomputação como exaflop.
“O aprendizado profundo nunca atingiu esse nível de desempenho antes”, diz Prabhat, líder da equipe de pesquisa do Centro Nacional de Pesquisa de Energia do Laboratório Nacional Lawrence Berkeley. Sua equipe colaborou com pesquisadores na sede da Summit, Oak Ridge National Laboratory.
Como você pode imaginar, o treinamento de IA do computador mais poderoso do mundo se concentrou em um dos maiores desafios do mundo - as mudanças climáticas. As empresas de tecnologia treinam algoritmos para reconhecer rostos ou sinais de trânsito; cientistas do governo os treinaram para reconhecer padrões climáticos como ciclones a partir de modelos climáticos que comprimem previsões centenárias da atmosfera da Terra em três horas. (Não está claro, entretanto, quanta energia o projeto exigiu e quanto carbono foi liberado no ar neste processo).
Vídeo promocional:
O experimento Summit tem implicações para o futuro da inteligência artificial e da climatologia. O projeto demonstra o potencial científico de adaptar o aprendizado profundo a supercomputadores que tradicionalmente simulam processos físicos e químicos, como explosões nucleares, buracos negros ou novos materiais. Ele também mostra que o aprendizado de máquina pode se beneficiar de mais poder de computação - se você conseguir encontrá-lo - e fornecer inovações no futuro.
“Não sabíamos que isso poderia ser feito nessa escala até que o fizemos”, diz Rajat Monga, CTO do Google. Ele e outros Googlers ajudaram no projeto adaptando o software de aprendizado de máquina TensorFlow da empresa para a escala gigantesca da Summit.
Muito do trabalho de escalonamento de aprendizado profundo foi feito nos centros de dados de empresas de Internet, onde os servidores trabalham juntos para resolver os problemas, separando-os porque estão relativamente desarticulados, em vez de agrupados em um computador gigante. Supercomputadores como o Summit têm uma arquitetura diferente, com conexões dedicadas de alta velocidade conectando seus milhares de processadores em um único sistema que pode funcionar como um todo. Até recentemente, havia relativamente pouco trabalho na adaptação do aprendizado de máquina para funcionar com esse tipo de hardware.
Monga diz que o trabalho para adaptar o TensorFlow à escala Summit também apoiará os esforços do Google para expandir seus sistemas internos de inteligência artificial. Os engenheiros da Nvidia também participaram deste projeto, garantindo que dezenas de milhares de GPUs Nvidia nesta máquina funcionassem sem problemas.
Encontrar maneiras de aproveitar mais poder de computação em algoritmos de aprendizado profundo tem sido fundamental para o atual desenvolvimento da tecnologia. A mesma tecnologia que a Siri usa para reconhecimento de voz e carros Waymo para ler sinais de trânsito se tornou útil em 2012, depois que os cientistas a adaptaram para rodar em GPUs Nvidia.
Em uma análise publicada em maio passado, cientistas do OpenAI, um instituto de pesquisa de São Francisco fundado por Elon Musk, estimaram que a quantidade de capacidade de computação nos maiores experimentos públicos de aprendizado de máquina dobrou aproximadamente a cada 3,43 meses desde 2012; isso representaria um aumento de 11 vezes em um ano. Essa progressão ajudou o bot Alphabet a vencer os campeões em jogos de tabuleiro e videogames desafiadores e também melhorou significativamente a precisão do tradutor do Google.
O Google e outras empresas estão criando novos tipos de chips habilitados para IA para continuar esta tendência. O Google diz que pods com milhares de seus chips de IA bem espaçados - processadores tensores duplicados, ou TPUs - podem fornecer 100 petaflops de poder de processamento, um décimo da velocidade alcançada pela Summit.
As contribuições da Summit para a ciência do clima mostram como a IA gigantesca pode melhorar nossa compreensão das condições climáticas futuras. Quando os pesquisadores geram previsões meteorológicas centenárias, a leitura da previsão resultante torna-se um desafio. “Imagine que você tem um filme no YouTube que está em exibição há 100 anos. Não há como localizar manualmente todos os gatos e cachorros deste filme”, diz Prabhat. Normalmente, o software é usado para automatizar esse processo, mas não é perfeito. Os resultados do Summit mostraram que o aprendizado de máquina pode fazer isso muito melhor, o que deve ajudar a prever tempestades como inundações.
De acordo com Michael Pritchard, professor da Universidade da Califórnia, Irvine, lançar o aprendizado profundo em supercomputadores é uma ideia relativamente nova que surgiu em um momento conveniente para os pesquisadores do clima. A desaceleração no desenvolvimento de processadores tradicionais levou os engenheiros a equipar supercomputadores com um número crescente de chips gráficos para melhorar o desempenho de forma mais consistente. “Chegou a hora em que você não pode mais aumentar o poder de processamento da maneira usual”, diz Pritchard.
Essa mudança paralisou a modelagem tradicional e, portanto, teve que se adaptar. Ele também abre a porta para o aproveitamento do poder do aprendizado profundo, que naturalmente se presta a chips gráficos. Talvez tenhamos uma imagem mais clara do futuro de nosso clima.
Ilya Khel