Quando meu primeiro filho tinha apenas dois anos, ele já amava carros, conhecia todas as marcas e modelos (até mais do que eu, graças aos meus amigos), conseguia reconhecê-los por uma pequena parte da imagem. Todo mundo disse: gênio. Embora tenham notado a total inutilidade desse conhecimento. E o filho, entretanto, dormia com eles, enrolava, colocava exatamente em fila ou em quadrado.
Quando ele tinha 4 anos, ele aprendeu a contar, e aos 5 ele já podia multiplicar e somar em 1000. Nós até jogamos Math Workout (este jogo está no Android - eu gostava de calcular no metrô depois do trabalho), e em algum momento ele se tornou eu apenas faça isso. E em seu tempo livre, ele contou até um milhão, o que congelou aqueles ao seu redor. Gênio! - disseram, mas suspeitávamos não muito.
Aliás, no mercado ele ajudava muito bem a mãe - calculava o valor total mais rápido do que os vendedores na calculadora.
Ao mesmo tempo, ele nunca jogou na quadra, não se comunicava com os colegas, não se dava muito bem com crianças e professores do jardim de infância. Em geral, ele era uma criança reservada.
O próximo passo foi a geografia - tentamos canalizar o amor pelos números para algum lugar e demos a nosso filho um antigo atlas soviético. Ele mergulhou nisso por um mês, e depois disso ele começou a nos fazer perguntas complicadas no estilo:
- Pai, que país você acha que tem uma área grande: Paquistão ou Moçambique?
“Provavelmente Moçambique”, respondi.
- Mas não! A área do Paquistão chega a mais 2.350 km2 - respondeu o filho com alegria.
Vídeo promocional:
Ao mesmo tempo, ele não estava absolutamente interessado nas pessoas que habitavam esses países, ou em suas línguas, ou roupas, ou música folclórica. Apenas números simples: área, população, volume de reservas minerais, etc.
Todos admiraram novamente. "Inteligente além de seus anos", diziam eles, mas novamente fiquei preocupado, porque Compreendi que esse é um conhecimento totalmente inútil, não vinculado à experiência de vida e que é difícil continuar a desenvolver. A melhor aplicação de todas que encontrei foi uma proposta para calcular quantos carros cabem em um estacionamento se um determinado país for enrolado com asfalto (excluindo terreno montanhoso), mas rapidamente parei, porque isso cheira a genocídio.
Curiosamente, a essa altura o assunto dos carros havia sumido completamente, o filho nem lembrava os nomes de seus carros favoritos de sua enorme coleção, que começamos a distribuir sem interesse. E então ele começou a contar mais devagar em sua mente e logo esqueceu os quadrados dos países. Ao mesmo tempo, ele começou a se comunicar mais com seus colegas, tornou-se mais contato. O gênio passou, os amigos pararam de admirar, o filho tornou-se apenas um bom aluno com queda por matemática e ciências exatas.
A repetição é a mãe da aprendizagem
Parece que tudo isso serve. Isso é visto em muitas crianças. Seus pais declaram a todos que seus filhos são gênios, as avós admiram e elogiam as crianças por seu "conhecimento". E então eles se transformam em crianças comuns, simplesmente inteligentes, não mais gênios do que o filho da amiga de minha mãe.
Ao estudar redes neurais, encontrei um fenômeno semelhante, e parece-me que certas conclusões podem ser tiradas dessa analogia. Não sou biólogo ou neurocientista. Tudo mais - minhas suposições sem a pretensão de serem particularmente científicas. Eu ficaria feliz em receber comentários de profissionais.
Quando tentei entender como meu filho aprendeu a contar mais rápido do que eu tão legal (ele completou o nível no Exercício de Matemática em 20,4 segundos, enquanto meu recorde era de 21,9), percebi que ele não conta nada. Ele memorizou que quando 55 + 17 aparecer, você precisa clicar em 72. Em 45 + 38, você precisa clicar em 83, e assim por diante. A princípio, é claro, ele contou, mas o salto de velocidade ocorreu no momento em que conseguiu se lembrar de todas as combinações. E muito rapidamente ele começou a memorizar não inscrições específicas, mas combinações de símbolos. Isso é exatamente o que eles ensinam na escola, estudando a tabuada - lembre-se da tabela de correspondência MxN -> P.
Descobriu-se que ele percebeu a maioria das informações precisamente como uma conexão entre os dados de entrada e a saída, e aquele algoritmo muito geral que estamos acostumados a percorrer para obter uma resposta não foi apenas reduzido a um algoritmo altamente especializado e muito bem apurado para contar números de dois dígitos. Ele fez algumas tarefas excelentes, mas muito mais lentas. Essa. o que todos achavam muito legal foi, na verdade, apenas simulado por uma rede neural bem treinada para uma tarefa específica.
Conhecimento extra
Por que algumas crianças conseguem memorizar dessa forma, enquanto outras não?
Imagine o campo de interesse da criança (aqui abordamos a questão qualitativamente, sem quaisquer medidas). À esquerda está o campo de interesses de uma criança comum e à direita está o campo de interesses de uma criança "superdotada". Como esperado, o interesse principal está concentrado em áreas para as quais aptidões especiais. Mas para as coisas do dia a dia e a comunicação com os colegas, o foco não é mais suficiente. Ele considera esse conhecimento supérfluo.
Os interesses de uma criança normal de 5 anos.
Os interesses de uma criança "brilhante" de 5 anos.
Nessas crianças, o cérebro analisa e conduz o treinamento apenas em tópicos selecionados. Por meio do treinamento, a rede neural no cérebro deve aprender a classificar com sucesso os dados recebidos. Mas o cérebro tem muitos, muitos neurônios à sua disposição. Muito mais do que o necessário para o trabalho normal com tarefas tão simples. Normalmente, as crianças resolvem muitos problemas diferentes na vida, mas aqui todos os mesmos recursos são usados em uma gama mais restrita de tarefas. E treinar nesse modo leva facilmente ao que os profissionais de ML chamam de overfitting. A rede, usando uma abundância de coeficientes (neurônios), foi treinada de tal forma que sempre dá exatamente as respostas necessárias (mas pode dar um disparate completo sobre dados de entrada intermediários, mas ninguém vê). Assim, o treinamento levou não ao fato de o cérebro selecionar as características principais e lembrá-las, mas ao fato de ajustar muitos coeficientes,para dar um resultado preciso em dados já conhecidos (como na imagem à direita). Além disso, o cérebro aprendeu mais ou menos em outros tópicos, tendo sido mal treinado (como na imagem à esquerda).
O que é underfitting e overfitting?
Para quem não está no assunto, direi muito brevemente. Ao treinar uma rede neural, a tarefa é selecionar um certo número de parâmetros (pesos da conexão entre os neurônios) para que a rede responda aos dados de treinamento (amostra de treinamento) da forma mais próxima e precisa possível.
Se houver poucos desses parâmetros, a rede não será capaz de levar em consideração os detalhes da amostra, o que levará a uma resposta muito aproximada e média que não funciona bem mesmo na amostra de treinamento. Semelhante à imagem à esquerda acima. É insuficiente.
Com um número adequado de parâmetros, a rede dará um bom resultado, "engolindo" fortes desvios nos dados de treinamento. Essa rede responderá bem não apenas à amostra de treinamento, mas também a outros valores intermediários. Como a imagem do meio acima.
Mas se a rede receber muitos parâmetros configuráveis, ela treinará para reproduzir até mesmo desvios e flutuações fortes (incluindo aqueles causados por erros), o que pode levar a um absurdo completo ao tentar obter uma resposta aos dados de entrada que não são da amostra de treinamento. Algo parecido com a foto acima. É overfitting.
Um exemplo ilustrativo simples.
Digamos que você tenha vários pontos (círculos azuis). Você precisa desenhar uma curva suave para prever a posição de outros pontos. Se tomarmos, por exemplo, um polinômio, então em pequenos graus (até 3 ou 4), nossa curva suave será bastante precisa (curva azul). Nesse caso, a curva azul não pode passar pelos pontos originais (pontos azuis).
No entanto, se o número de coeficientes (e, portanto, o grau do polinômio) aumentar, a precisão de passar os pontos azuis aumentará (ou mesmo haverá um acerto de 100%), mas o comportamento entre esses pontos se tornará imprevisível (veja como a curva vermelha flutua).
Parece-me que é a tendência da criança para um tópico específico (obsessão) e o completo desconhecimento do resto dos tópicos que leva ao fato de que ao ensinar muitos "fatores" são dados a esses mesmos tópicos.
Considerando que a rede está configurada para dados de entrada específicos e não destacou os "recursos", mas "lembrou" estupidamente os dados de entrada, ela não pode ser usada com dados de entrada ligeiramente diferentes. A aplicabilidade de tal rede é muito estreita. Com a idade, os horizontes se ampliam, o foco fica turvo, e não há mais a oportunidade de atribuir o mesmo número de neurônios à mesma tarefa - eles passam a ser usados em novas tarefas mais necessárias para a criança. As "configurações" daquela rede superequipada entram em colapso, a criança torna-se "normal", o gênio desaparece.
Claro, se uma criança tem uma habilidade que é útil em si mesma e pode ser desenvolvida (por exemplo, música ou esportes), então seu “gênio” pode ser mantido por muito tempo, e até mesmo levado essas habilidades para um nível profissional. Mas na maioria dos casos isso não funciona e não haverá nenhum vestígio de habilidades antigas por volta dos 8 a 10 anos.
conclusões
- você tem um filho gênio? vai passar;)
- perspectiva e "gênio" são coisas relacionadas e estão conectadas precisamente por meio do mecanismo de aprendizagem
- esse aparente "gênio" muito provavelmente não é gênio, mas o efeito de um treinamento muito forte do cérebro em uma tarefa específica sem entendê-la - apenas todos os recursos foram dedicados a essa tarefa
- ao corrigir os interesses estreitos da criança, seu gênio desaparece
- se o seu filho é "gênio" e um pouco mais reservado do que os colegas, você precisa desenvolver essas mesmas habilidades com mais cuidado, desenvolvendo ativamente seus horizontes em paralelo, e não se concentrar nessas habilidades "legais", mas geralmente inúteis
Autor: Sergey Poltorak
