A divisão de inteligência artificial do Google anunciou a criação de um novo método de treinamento de redes neurais, combinando o uso de algoritmos avançados e videogames antigos. Os videogames antigos da Atari são usados como ambiente de aprendizagem.
Os desenvolvedores do DeepMind (lembre-se que essas pessoas criaram a rede neural AlphaGo, que derrotou repetidamente os melhores jogadores no jogo lógico de go) acreditam que as máquinas podem aprender da mesma maneira que os humanos. Usando o sistema de treinamento DMLab-30 baseado no shooter Quake III e nos jogos de arcade Atari (57 jogos diferentes são usados), os engenheiros desenvolveram um novo algoritmo de aprendizado de máquina IMPALA (Importance Weighted Actor-Learner Architectures). Ele permite que partes individuais aprendam a executar várias tarefas ao mesmo tempo e, então, troquem conhecimentos entre si.
De muitas maneiras, o novo sistema era baseado no sistema anterior de arquitetura Ator-Agentes Críticos Assíncronos (A3C), em que agentes individuais exploram o ambiente, então o processo é pausado e eles trocam conhecimento com o componente central, o "aluno". Já o IMPALA pode ter mais agentes e o processo de aprendizagem em si ocorre de forma um pouco diferente. Nele, os agentes enviam informações para dois "alunos" ao mesmo tempo, que também trocam dados entre si. Além disso, se no A3C o cálculo do gradiente da função de perda (em outras palavras, a discrepância entre os valores dos parâmetros previstos e obtidos) é feito pelos próprios agentes, que enviam informações para o núcleo central, então no sistema IMPALA, essa tarefa é feita por "alunos".
Um exemplo de uma pessoa jogando o jogo:
Veja como o sistema IMPALA lida com a mesma tarefa:
Um dos principais desafios no desenvolvimento de IA é o tempo e a necessidade de alto poder de computação. Mesmo quando autônomas, as máquinas precisam de regras que possam seguir em seus próprios experimentos e encontrar maneiras de resolver problemas. Como não podemos simplesmente construir robôs e deixá-los aprender, os desenvolvedores usam simulações e técnicas de aprendizado profundo.
Para que as redes neurais modernas aprendam algo, elas precisam processar uma grande quantidade de informações, neste caso, bilhões de quadros. E quanto mais rápido eles fazem isso, menos tempo leva para aprender.
Vídeo promocional:
Com processadores suficientes, DeepMind diz que IMPALA atinge 250.000 quadros por segundo, ou 21 bilhões de quadros por dia. Este é um recorde absoluto para tarefas desse tipo, de acordo com The Next Web. Os próprios desenvolvedores comentam que seu sistema de IA lida com a tarefa melhor do que máquinas e pessoas semelhantes.
No futuro, algoritmos de IA semelhantes podem ser usados na robótica. Ao otimizar os sistemas de aprendizado de máquina, os robôs se adaptam ao ambiente com mais rapidez e trabalham com mais eficiência.
Nikolay Khizhnyak
