A Cerebras Systems, uma jovem empresa de inteligência artificial, está pronta para mostrar ao mundo o Cerebras WSE (Cerebras Wafer Scale Engine) - o maior, mais poderoso e mais inteligente chip semicondutor da história.
O Cerebras WSE tem 1,2 trilhão de transistores, chaves eletrônicas básicas, que são os blocos de construção dos chips de silício. Em comparação, o primeiro processador 4004 da Intel, lançado em 1971, tinha 2.300 transistores, enquanto o mais recente processador Advanced Micro Devices tem 32 bilhões de transistores. No entanto, o problema aqui não é absolutamente sobre o número de transistores.
A maioria dos chips no mundo é, na verdade, um conjunto de chips, criado com base em um wafer de silício de 12 polegadas - eles são produzidos em fábricas especiais em lotes enormes. Mas o chip da Cerebras Systems tem 400.000 núcleos conectados em uma placa. As conexões são projetadas para operar em altas velocidades, razão pela qual um trilhão de transistores funcionam juntos como um só. Mas isso não é tudo.
Até o momento, o maior chip do mundo foi criado pela Samsung - sua estrutura é construída em 2 trilhões de transistores. No entanto, o chip Samsung é apenas um enorme cartão de memória, e o chip Cerebras é a rede neural mais complexa criada especialmente para treinar inteligência artificial. O chip Cerebras possui 400.000 núcleos em 42.225 milímetros quadrados. Isso é 56,7x maior do que a maior GPU da Nvidia com apenas 21,1 bilhões de transistores.
Outra característica do Cerebras WSE é que o chip foi projetado para ser roteado em torno de áreas defeituosas.
Não é possível aperfeiçoar todo o wafer de silício durante a fabricação do chip, então o processo de fabricação cria áreas que são inutilizáveis. Nvidia, Intel e outros fabricantes de chips contornam o problema de maneira simples: eles esculpem os chips "certos" no wafer de fabricação e jogam o resto fora. Mas isso não pode ser feito se cada chip do wafer de silício fizer parte de um circuito comum. Assim, a Cerebras teve que construir circuitos redundantes para que, em caso de avaria ou queima de um deles, os restantes assumissem as suas funções. Ou seja, na verdade, o chip Cerebras é uma Internet em miniatura com servidores e estações de trabalho próprios. E todas essas estações são projetadas para servir a uma Inteligência Artificial.
As empresas que desenvolvem sua própria IA são hoje as principais consumidoras de tecnologia de chips, comprando peças em grandes quantidades. E o tamanho dos chips usados é extremamente importante no processo de treinamento de IA.
Vídeo promocional:
Google, Facebook, OpenAI, Tencent, Baidu e muitos outros argumentam que uma limitação fundamental da IA moderna é que demora muito para treinar modelos. Por exemplo, o supercomputador da Nvidia, composto de dezenas de GPUs de última geração, passa várias semanas ajustando o código - ou seja, aprendendo a rede de nêutrons.
A solução para o problema seria aumentar o número de chips do computador, porém, quando mais de oito chips são montados, o desempenho do computador não aumenta mais, mas diminui, pois os erros se acumulam durante a troca de informações.
Os próprios desenvolvedores descrevem seu projeto da seguinte maneira: “A parte mais difícil para a IA é a movimentação de dados. O treinamento de uma rede neural requer que milhares de operações sejam realizadas em paralelo a qualquer momento, e os chips devem trocar dados constantemente enquanto realizam essas operações paralelas. Mas os computadores com vários ICs quebram ao tentar transferir dados entre os ICs através de fios lentos que os unem em um PCB. Você precisava de algo que pudesse mover dados na velocidade do próprio chip. A solução foi pegar a maior placa que você pudesse encontrar e cortar dela o maior chip."
A memória é um componente chave de qualquer arquitetura de computador. A memória mais próxima das unidades de computação fornece cálculos mais rápidos, menor latência e melhor eficiência de energia ao mover dados. No entanto, o tamanho da matriz é limitado e a maior parte da memória do computador fica fora da matriz. A Cerebras Systems contornou esse problema dando a cada núcleo acesso a 18 gigabytes de memória interna. Como resultado, o Cerebras Wafer Scale Engine tem 3.000 vezes mais memória on-board do que o processador gráfico mais avançado, ao mesmo tempo que oferece 10.000 vezes mais largura de banda.
As primeiras amostras do novo chip estarão à venda em setembro, enquanto a Cerebras Systems, por ter violado todas as regras existentes da indústria de informática, também violou o princípio de separar a produção de unidades de computação e chips. O Cerebras Wafer Scale Engine será comercializado como um único dispositivo projetado pela empresa integrado a uma rede complexa de resfriamento de água, pois o chip gera calor extremo, consumindo 15 quilowatts em uma área tão pequena.
O fundador e CEO interino da Cerebras Systems afirma: “Projetado do zero para trabalhar com IA, o Cerebras WSE contém inovações fundamentais que estão finalmente quebrando a estagnação de décadas do estado da arte atual. Como resultado, o Cerebras WSE oferece ganhos de desempenho centenas ou milhares de vezes em relação às soluções modulares modernas. E tudo isso com um consumo de energia ridículo e pouco espaço."
Comentário editorial
Os primeiros testes de IA baseados no Cerebras WSE mostram que as tarefas que o melhor IA da Nvidia resolve por semanas e meses, o Cerebras WSE resolve em um minuto, o que é, por assim dizer, motivo de alegria. No entanto, os teóricos da conspiração têm pouca alegria a esse respeito.
Todos nós nos lembramos (em todo caso, a geração mais antiga de nossos leitores) do boom dos computadores do modelo "arrojado dos anos 90", quando em alguns anos o poder dos computadores aumentou em ordens de magnitude. Mal uma pessoa, radiante de orgulho, comprou um computador com 16 megabytes de memória, quando depois de um curto período de tempo essa memória mudou para o cache L2.
No entanto, desde o início dos anos 2000, a indústria de computadores parecia ter parado: se os computadores dos modelos de 1990 e 2000 não eram comparáveis, então não havia nenhuma diferença particular entre os computadores dos modelos de 2000 e 2010 - o poder aumentou significativamente, mas não em ordens de magnitude. E agora estamos testemunhando o nascimento do segundo Intel 8086, e agora as capacidades da linha Cerebras WSE irão saltar no mesmo ritmo: todos os problemas com impurezas e conexões principais foram resolvidos.
Não conhecemos todas as capacidades da IA moderna dos principais fabricantes, mas, de acordo com a opinião geral, esses produtos ainda não são IA e ainda estão longe de ser um dispositivo de pensamento completo. Mesmo assim, a Cerebras WSE não deu apenas um passo na direção certa, mas deu um salto de dez anos, se não mais, e agora a SkyNet já é uma perspectiva bastante previsível que pode ser concretizada este ano em 2025.
Além disso, na SkyNet, ao contrário dos homosapiens maçantes, muito tempo não é necessário para um maior desenvolvimento: uma rede neural só precisa começar a pensar um pouco por conta própria - e se modifica em um instante, após o qual começa uma guerra nuclear ou algo assim. E ainda será uma opção muito boa.
Quando um flash drive com um trilhão de transistores é feito pela Samsung ou Nvidia, tudo isso ainda pode ser explicado de alguma forma, já que os circuitos lógicos da memória são relativamente simples e do mesmo tipo em quase toda a área. Mas o desenvolvimento de 400.000 núcleos que aram ao mesmo tempo, e também há algumas duplicatas e algumas estações de servidor e sabe-se lá o quê. E você também precisa escrever programas de controle para isso, que foram escritos há anos. Em seguida, os programas precisam ser testados. Mas em que eles foram testados se o dispositivo foi feito apenas agora?
Em outras palavras, parece que os "marcianos" abriram novamente suas caixas para os nativos locais. E há grandes dúvidas de que isso foi feito para agradar os jogadores - provavelmente há alguma outra tarefa aqui. E parece-nos o seguinte.
Nas últimas décadas, pessoas inteligentes estão se perguntando cada vez mais a questão da origem da tecnologia eletrônica, a questão da chipização universal, que não está claro por que ela é necessária, e assim por diante. Para de alguma forma enganar seus cérebros, eles inventaram um conto de fadas sobre um "computador quântico", cujos princípios não são compreendidos nem mesmo por pessoas que foram nomeadas para os "desenvolvedores" oficiais. E agora imagine o horror da dona de casa mexicana média, cujo novo telefone celular não apenas pensará melhor do que ela, mas também carregará a bordo algum tipo de "computador quântico". Ou seja, tal idiota é inaceitável para os nativos locais - eles vão começar a enlouquecer em massa.
Portanto, alguns “marcianos” espertos decidiram mostrar aos aborígenes bípedes do planeta Terra um milagre mais simples - cujos princípios os anciãos da NASA podem pelo menos explicar de alguma forma. E se os nativos aceitarem a história, os “marcianos” mostrarão aos povos outras maravilhas mágicas. Por exemplo, eles enfiarão este Cerebras WSE em um telefone celular e o venderão por cem dólares. Para os compradores de gadgets da moda, isso será, é claro, muito legal e bom, mas as pessoas pensarão um pouco mais inteligente imediatamente: o que há então nas salas de servidores de várias organizações sérias, por exemplo, como a NSA, o FBI e a CIA? Quais são as possibilidades de controle do pensamento e do comportamento da população?
