Os líderes de mais de uma centena das principais empresas de inteligência artificial do mundo estão muito preocupados com o desenvolvimento de "robôs assassinos". Em uma carta aberta à ONU, esses líderes empresariais, incluindo Elon Musk da Tesla e os fundadores da DeepMind do Google, alertaram que o uso de tecnologia de armas autônomas poderia ser adotada por terroristas e déspotas, ou até certo ponto ser hackeada.
Mas a verdadeira ameaça é muito mais séria - e não se trata apenas de má conduta humana, mas também de má conduta das máquinas. O exame de sistemas complexos mostra que eles podem se comportar de maneira muito mais imprevisível do que se pode inferir da soma das ações individuais. Por um lado, isso significa que a sociedade humana pode se comportar de maneira muito diferente do que você poderia esperar ao estudar o comportamento dos indivíduos. Por outro lado, o mesmo se aplica à tecnologia. Até mesmo ecossistemas de programas simples de inteligência artificial - que chamamos de bots bons e burros - podem nos surpreender. Mesmo os bots individuais podem se comportar horrivelmente.
Os elementos individuais que compõem sistemas complexos, como mercados econômicos ou clima global, tendem a não interagir de forma linear simples. Isso torna esses sistemas muito difíceis de modelar e entender. Por exemplo, mesmo depois de anos de pesquisas climáticas, é impossível prever o comportamento de longo prazo do tempo. Esses sistemas são tão sensíveis às menores mudanças quanto reagem de forma explosiva. É muito difícil saber o estado exato de tal sistema em um determinado momento. Tudo isso torna esses sistemas internamente imprevisíveis.
Todos esses princípios se aplicam a grandes grupos de pessoas agindo de sua própria maneira, sejam sociedades humanas ou grupos de bots de IA. Cientistas estudaram recentemente um tipo de sistema complexo que usa bons bots para editar artigos da Wikipedia automaticamente. Esses diversos bots são projetados, escritos e usados por editores confiáveis da Wikipedia, e seu software subjacente é de código aberto e está disponível para todos. Individualmente, eles têm um objetivo comum de melhorar a enciclopédia. No entanto, seu comportamento coletivo provou ser surpreendentemente ineficaz.
Regras e convenções bem estabelecidas são o cerne de como esses bots funcionam na Wikipedia, mas como o site não tem um sistema de controle central, não há coordenação eficaz entre as pessoas que executam diferentes bots. Os resultados revelaram alguns bots que cancelaram as edições uns dos outros por vários anos e ninguém percebeu. E, claro, como esses bots não aprendem nada, eles também não perceberam.
Esses bots são projetados para acelerar o processo de edição. Mas pequenas diferenças no design dos bots, ou entre as pessoas que os usam, podem levar a um grande desperdício de recursos em uma "guerra de edição" em andamento que pode ser resolvida muito mais rapidamente pelos editores.
Os pesquisadores também descobriram que os bots se comportavam de maneira diferente em diferentes versões da Wikipedia. As regras, ao que parece, são quase as mesmas, os objetivos são idênticos, as tecnologias são semelhantes. Mas na Wikipedia em alemão, a cooperação de bots era muito mais eficiente e produtiva do que, por exemplo, em português. Isso só pode ser explicado pelas diferenças entre os editores humanos que executaram esses bots em ambientes diferentes.
Vídeo promocional:
Confusão exponencial
Os bots da Wikipedia não têm ampla autonomia e o sistema não funciona mais de acordo com os objetivos dos bots individuais. Mas a Wikimedia Foundation planeja usar IA que dará mais autonomia a esses bots. E isso provavelmente levará a um comportamento ainda mais imprevisível.
Um bom exemplo do que pode acontecer é mostrado por bots projetados para falar com as pessoas quando forçados a se comunicarem entre si. Não ficamos mais surpresos com as respostas de assistentes pessoais como Siri. Mas faça com que eles se comuniquem uns com os outros e eles rapidamente começarão a se comportar de maneiras inesperadas, discutirão e até mesmo se insultarão.
Quanto maior se torna o sistema e quanto mais autônomo cada bot se torna, mais complexo e imprevisível será o comportamento futuro desse sistema. A Wikipedia é um exemplo de um grande número de bots relativamente simples em ação. O exemplo do chatbot é um exemplo de um pequeno número de bots relativamente complexos e inventivos - em ambos os casos, surgem conflitos imprevistos. A complexidade e, portanto, a imprevisibilidade, crescem exponencialmente à medida que a personalidade é adicionada ao sistema. Portanto, quando sistemas com um grande número de robôs muito complexos aparecerem no futuro, sua imprevisibilidade irá além de nossa imaginação.
Loucura em chamas
Os carros autônomos, por exemplo, prometem um grande avanço em eficiência e segurança no trânsito. Mas ainda não sabemos o que acontecerá quando tivermos um grande sistema selvagem de veículos totalmente autônomos. Eles podem se comportar de maneira diferente, mesmo dentro de uma pequena frota de veículos individuais em um ambiente controlado. E comportamentos ainda mais imprevisíveis podem se manifestar quando carros autônomos, "treinados" por pessoas diferentes em lugares diferentes, começam a interagir uns com os outros.
As pessoas podem se adaptar a novas regras e convenções com relativa rapidez, mas têm dificuldade em alternar entre sistemas. Agentes artificiais podem ser ainda mais difíceis. Por exemplo, se um carro “treinado na Alemanha” viaja para a Itália, por exemplo, não sabemos como ele irá dominar as convenções culturais não escritas que muitos outros carros “treinados na Itália” seguem. Algo mundano como cruzar um cruzamento pode se tornar mortalmente arriscado porque simplesmente não sabemos se os carros irão interagir corretamente ou se irão se comportar de forma imprevisível.
Agora pense nos robôs assassinos que estão assediando Musk e seus colegas. Um robô assassino pode ser muito perigoso nas mãos erradas. E quanto ao sistema de robôs assassinos imprevisíveis? Pense por você mesmo.
Ilya Khel
