O campo da inteligência artificial é frequentemente comparado à indústria do petróleo: uma vez extraídos e refinados, os dados, como o petróleo, podem se tornar uma mercadoria muito lucrativa. No entanto, agora está ficando claro que essa metáfora está se expandindo. Como os combustíveis fósseis, o aprendizado profundo tem um enorme impacto no meio ambiente. Em um novo estudo, cientistas da Universidade de Massachusetts Amherst avaliaram o ciclo de vida de aprendizagem de vários modelos grandes de IA comuns.
Ele descobriu que esse processo pode gerar mais de 626.000 libras (cerca de 300.000 kg) de dióxido de carbono equivalente, quase cinco vezes as emissões de um carro típico em cinco anos (incluindo a produção do próprio carro).
Como os modelos de IA são treinados
Esta é uma quantificação impressionante do que os pesquisadores de IA há muito suspeitavam.
Pegada de carbono do processamento de linguagem natural
Vídeo promocional:
O artigo aborda especificamente o processo de treinamento de um modelo para processamento de linguagem natural (PNL), um subcampo da IA que trata do treinamento de máquinas para trabalhar com a linguagem humana. Nos últimos dois anos, a comunidade da PNL alcançou vários marcos importantes nas áreas de tradução automática, conclusão de frases e outras tarefas de avaliação padrão. O infame modelo OpenAI GPT-2, por exemplo, conseguiu escrever notícias falsas convincentes.
Mas esses avanços exigiam o treinamento de modelos cada vez maiores em conjuntos de dados estendidos de frases extraídas da Internet. Essa abordagem é computacionalmente cara e consome muita energia.
Os pesquisadores analisaram os quatro modelos da área responsáveis pelos maiores saltos de desempenho: Transformer, ELMo, BERT e GPT-2. Eles treinaram cada um deles em uma única GPU por um dia para medir o consumo de energia.
Eles então pegaram o número de horas de treinamento especificado nos documentos do modelo original para calcular a energia total consumida durante todo o processo de treinamento. Essa quantidade foi convertida para o equivalente a libras de dióxido de carbono, o que era consistente com o mix de energia AWS da Amazon, o maior provedor de nuvem do mundo.
Ele descobriu que os custos computacionais e ambientais do treinamento aumentaram em proporção ao tamanho do modelo, e então aumentaram exponencialmente quando a precisão final do modelo foi ajustada. Uma pesquisa de arquitetura neural que tenta otimizar um modelo alterando gradualmente a estrutura da rede neural por meio de tentativa e erro incorre em custos extremamente altos com pouco ganho de desempenho. Sem ele, o modelo BERT mais caro deixava uma pegada de carbono de 1.400 libras (635 kg), perto de uma viagem transamericana de ida e volta.
Além disso, esses números devem ser considerados apenas como linhas de base.
Ao todo, os cientistas estimam que o processo de criação e teste do modelo final digno de publicação exigiu o treinamento de 4.789 modelos em seis meses. Em termos de equivalente de CO2, isso é cerca de 35.000 kg.
A importância desses números é colossal, especialmente dadas as tendências atuais na pesquisa de IA. Em geral, a pesquisa de IA negligencia a eficiência porque grandes redes neurais são reconhecidas como úteis para várias tarefas, e empresas com recursos de computação ilimitados as usarão para obter uma vantagem competitiva.
Ilya Khel
