Nos últimos 10 anos, graças ao chamado método de aprendizagem profunda, recebemos os melhores sistemas de inteligência artificial - por exemplo, reconhecedores de voz em smartphones ou o mais recente tradutor automático do Google. O aprendizado profundo, na verdade, se tornou uma nova tendência nas já famosas redes neurais, que estão em voga e surgindo há mais de 70 anos. As redes neurais foram propostas pela primeira vez por Warren McCullough e Walter Pitts em 1994, dois pesquisadores da Universidade de Chicago. Em 1952, eles foram trabalhar no Instituto de Tecnologia de Massachusetts para lançar as bases para o primeiro Departamento de Cognição.
As redes neurais foram uma das principais linhas de pesquisa em neurociência e ciência da computação até 1969, quando, de acordo com as lendas, foram mortas pelos matemáticos do MIT Marvin Minsky e Seymour Papert, que um ano depois se tornaram co-chefes do novo laboratório de inteligência artificial do MIT.
Este método experimentou um renascimento na década de 1980, ligeiramente desbotado nas sombras na primeira década do novo século e voltou com alarde no segundo, na crista do incrível desenvolvimento de chips gráficos e seu poder de processamento.
"Há uma percepção de que as ideias na ciência são como epidemias de vírus", diz Tomaso Poggio, professor de cognição e ciências do cérebro do MIT. “Provavelmente existem cinco ou seis cepas principais de vírus da gripe, e uma delas retorna a uma taxa invejável de 25 anos. As pessoas são infectadas, adquirem imunidade e não adoecem nos próximos 25 anos. Em seguida, surge uma nova geração, pronta para ser infectada com a mesma cepa de vírus. Na ciência, as pessoas se apaixonam por uma ideia, isso deixa todo mundo louco, então eles batem nela até a morte e adquirem imunidade a ela - eles se cansam disso. As ideias devem ter uma frequência semelhante."
Questões pesadas
As redes neurais são um método de aprendizado de máquina em que um computador aprende a realizar certas tarefas analisando exemplos de treinamento. Normalmente, esses exemplos são marcados manualmente com antecedência. Um sistema de reconhecimento de objetos, por exemplo, pode absorver milhares de imagens marcadas de carros, casas, xícaras de café e assim por diante, e então ser capaz de encontrar padrões visuais nessas imagens que se correlacionam consistentemente com certas marcações.
Uma rede neural é freqüentemente comparada ao cérebro humano, que também possui tais redes, consistindo em milhares ou milhões de nós de processamento simples, que estão intimamente interconectados. A maioria das redes neurais modernas é organizada em camadas de nós, e os dados fluem por eles em apenas uma direção. Um nó individual pode ser associado a vários nós na camada abaixo dele, dos quais ele recebe dados, e vários nós na camada acima, para os quais ele transmite dados.
Vídeo promocional:
O nó atribui um número a cada um desses links de entrada - "peso". Quando a rede está ativa, o nó recebe diferentes conjuntos de dados - diferentes números - para cada uma dessas conexões e multiplica pelo peso apropriado. Ele então soma os resultados para formar um único número. Se esse número estiver abaixo do limite, o nó não transmite dados para a próxima camada. Se o número exceder o limite, o nó "desperta" enviando o número - a soma dos dados de entrada ponderados - para todas as conexões de saída.
Quando uma rede neural é treinada, todos os seus pesos e limites são inicialmente definidos em ordem aleatória. Os dados de treinamento são alimentados na camada inferior - a camada de entrada - e passam pelas camadas subsequentes, se multiplicando e somando de forma complexa, até chegar finalmente, já transformados, na camada de saída. Durante o treinamento, pesos e limites são ajustados continuamente até que os dados de treinamento com os mesmos rótulos produzam conclusões semelhantes.
Mente e máquinas
As redes neurais descritas por McCullough e Pitts em 1944 tinham limites e pesos, mas não eram organizadas em camadas, e os cientistas não especificaram nenhum mecanismo de aprendizagem específico. Mas McCullough e Pitts mostraram que uma rede neural pode, em princípio, calcular qualquer função, como qualquer computador digital. O resultado veio mais do campo da neurociência do que da ciência da computação: era preciso presumir que o cérebro humano poderia ser visto como um dispositivo de computação.
As redes neurais continuam a ser uma ferramenta valiosa para a pesquisa neurobiológica. Por exemplo, camadas individuais da rede ou regras para ajustar pesos e limiares reproduziram as características observadas da neuroanatomia humana e das funções cognitivas e, portanto, afetaram o modo como o cérebro processa as informações.
A primeira rede neural treinável, o Perceptron (ou Perceptron), foi demonstrada pelo psicólogo da Cornell University Frank Rosenblatt em 1957. O projeto do Perceptron era semelhante a uma rede neural moderna, exceto que tinha uma única camada com pesos ajustáveis e limites imprensados entre as camadas de entrada e saída.
"Perceptrons" foram ativamente pesquisados em psicologia e ciência da computação até 1959, quando Minsky e Papert publicaram um livro chamado "Perceptrons", que mostrava que fazer cálculos bastante comuns em perceptrons era impraticável em termos de tempo.
"É claro que todas as limitações desaparecem se você tornar as máquinas um pouco mais complexas", por exemplo, em duas camadas, diz Poggio. Mas, na época, o livro teve um efeito assustador na pesquisa de redes neurais.
“Vale a pena considerar essas coisas em um contexto histórico”, diz Poggio. “A prova foi construída para programação em linguagens como Lisp. Não muito antes disso, as pessoas estavam silenciosamente usando computadores analógicos. Não estava totalmente claro na época a que a programação levaria. Acho que exageraram um pouco, mas, como sempre, não dá para dividir tudo em preto e branco. Se você pensar nisso como uma competição entre a computação analógica e a digital, então eles estavam lutando pelo que era necessário."
Periodicidade
Na década de 1980, no entanto, os cientistas desenvolveram algoritmos para modificar os pesos e limites da rede neural que eram eficientes o suficiente para redes com mais de uma camada, removendo muitas das limitações identificadas por Minsky e Papert. Esta área passou por um renascimento.
Mas, de um ponto de vista razoável, faltava algo nas redes neurais. Uma sessão de treinamento longa o suficiente pode levar a uma revisão das configurações de rede até que comece a classificar os dados de uma forma útil, mas o que essas configurações significam? Para quais características da imagem o reconhecedor de objetos olha e como ele as reúne para formar as assinaturas visuais de carros, casas e xícaras de café? Um estudo dos pesos de compostos individuais não responderá a esta pergunta.
Nos últimos anos, os cientistas da computação começaram a desenvolver métodos engenhosos para determinar as estratégias analíticas adotadas pelas redes neurais. Mas, na década de 1980, as estratégias dessas redes eram incompreensíveis. Portanto, na virada do século, as redes neurais foram substituídas por máquinas de vetores, uma abordagem alternativa ao aprendizado de máquina baseada em matemática pura e elegante.
O recente aumento no interesse em redes neurais - a revolução do aprendizado profundo - se deve à indústria de jogos. Os gráficos complexos e o ritmo acelerado dos videogames modernos exigem hardware que acompanhe a tendência, resultando em uma GPU (unidade de processamento gráfico) com milhares de núcleos de processamento relativamente simples em um único chip. Os cientistas logo perceberam que a arquitetura de GPU era perfeita para redes neurais.
As GPUs modernas tornaram possível construir redes da década de 1960 e redes de duas e três camadas da década de 1980 em buquês de redes de 10, 15 e até 50 camadas de hoje. É por isso que a palavra "profundo" é responsável no "aprendizado profundo". Para a profundidade da rede. O aprendizado profundo é atualmente responsável pelos sistemas mais eficientes em quase todas as áreas de pesquisa de inteligência artificial.
Sob o capô
A opacidade da rede ainda preocupa os teóricos, mas há progresso nessa frente. Poggio lidera um programa de pesquisa sobre os fundamentos teóricos da inteligência. Recentemente, Poggio e seus colegas lançaram um estudo teórico de redes neurais em três partes.
A primeira parte, publicada no mês passado no International Journal of Automation and Computing, aborda a gama de cálculos que as redes de aprendizagem profunda podem fazer e quando as redes profundas aproveitam as rasas. As partes dois e três, que foram lançadas como palestras, abordam os desafios da otimização global, ou seja, garantir que a rede encontre as configurações que melhor se adaptam aos seus dados de treinamento, bem como os casos em que a rede entende tão bem as especificidades dos seus dados de treinamento. que não pode generalizar outras manifestações das mesmas categorias.
Ainda há muitas questões teóricas pela frente, cujas respostas terão que ser dadas. Mas há esperança de que as redes neurais finalmente sejam capazes de quebrar o ciclo de gerações que as mergulham no calor e às vezes no frio.
ILYA KHEL
