Fora da janela está 2022. Você dirige um carro autônomo, como sempre, pela cidade. O carro se aproxima de uma placa de pare, pela qual já passou várias vezes, mas desta vez não para na frente dela. Para você, este sinal de parada é como os outros. Mas, para um carro, é completamente diferente. Poucos minutos antes, sem avisar ninguém, o atacante havia colado uma pequena placa na placa, invisível ao olho humano, mas que a tecnologia não pode deixar de notar. Ou seja, um minúsculo adesivo no sinal transformou o sinal de stop em algo completamente diferente do sinal de stop.
Tudo isso pode parecer incrível. Mas uma área crescente de pesquisa está provando que a inteligência artificial pode ser levada a algo assim se vir algum detalhe minúsculo que é completamente invisível para os humanos. À medida que algoritmos de aprendizado de máquina aparecem cada vez mais em nossas estradas, nossas finanças, nosso sistema de saúde, os cientistas da computação esperam aprender mais sobre como protegê-los de tais ataques - antes que alguém realmente tente enganá-los.
“Essa é uma preocupação crescente na comunidade de aprendizado de máquina e IA, especialmente porque esses algoritmos estão sendo usados cada vez mais”, diz Daniel Lode, professor assistente do Departamento de Ciência da Computação e da Informação da Universidade de Oregon. “Se o spam passa ou é bloqueado por vários e-mails, isso não é o fim do mundo. Mas se você confiar em um sistema de visão em um carro autônomo que diga ao carro como dirigir sem bater em nada, as apostas são muito maiores.”
Independentemente de a máquina quebrar ou ser hackeada, os algoritmos de aprendizado de máquina que "vêem" o mundo sofrerão. E assim, para o carro, o panda parece um gibão, e o ônibus escolar parece um avestruz.
Em um experimento, cientistas da França e da Suíça mostraram como tais distúrbios podem fazer com que um computador confunda um esquilo com uma raposa cinza e uma cafeteira com um papagaio.
Como isso é possível? Pense em como seu filho está aprendendo a reconhecer números. Olhando os símbolos um por um, a criança começa a notar algumas características comuns: alguns são mais altos e mais magros, seis e nove contêm um grande laço e oitos contêm dois, e assim por diante. Depois de verem exemplos suficientes, eles podem reconhecer rapidamente novos números como quatros, oitos ou trigêmeos - mesmo que, graças à fonte ou caligrafia, eles não se pareçam exatamente com os outros quatros, oitos ou trigêmeos que já tiveram. visto antes.
Algoritmos de aprendizado de máquina aprendem a ler o mundo por meio de um processo um tanto semelhante. Os cientistas alimentam o computador com centenas ou milhares de exemplos (geralmente rotulados) do que gostariam de encontrar no computador. Quando a máquina examina os dados - isto é um número, isto não é, este é um número, isto não é - ela começa a notar as características que levam a uma resposta. Logo ela pode olhar para a foto e dizer: "São cinco!" com alta precisão.
Vídeo promocional:
Assim, crianças humanas e computadores podem aprender a reconhecer uma vasta gama de objetos, de números a gatos, de barcos a rostos humanos individuais.
Mas, ao contrário de uma criança humana, um computador não presta atenção aos detalhes de alto nível - como as orelhas peludas dos gatos ou a forma angular distinta dos quatro. Ele não vê a imagem completa.
Em vez disso, ele olha para pixels individuais em uma imagem - e a maneira mais rápida de separar objetos. Se a esmagadora maioria das unidades tiver um pixel preto em um determinado ponto e alguns pixels brancos em outros pontos, a máquina aprenderá muito rapidamente a determiná-los por alguns pixels.
Agora, de volta ao sinal de pare. Corrigindo imperceptivelmente os pixels na imagem - os especialistas chamam essa interferência de "perturbações" - você pode enganar o computador fazendo-o pensar que, de fato, não há sinal de parada.
Estudos semelhantes do Laboratório de Inteligência Artificial Evolutiva da Universidade de Wyoming e da Universidade Cornell produziram algumas ilusões de ótica para a inteligência artificial. Essas imagens psicodélicas de padrões e cores abstratos são diferentes de tudo para os humanos, mas são rapidamente reconhecidas pelo computador como cobras ou rifles. Isso sugere como a IA pode olhar para algo e não ver o objeto ou, em vez disso, ver outra coisa.
Essa fraqueza é comum em todos os tipos de algoritmos de aprendizado de máquina. “Seria de se esperar que todo algoritmo tivesse um buraco na armadura”, diz Yevgeny Vorobeychik, professor assistente de ciência da computação e computação na Universidade Vanderbilt. “Vivemos em um mundo multidimensional muito complexo, e algoritmos, por sua natureza, afetam apenas uma pequena parte dele.”
Sparrow está “extremamente confiante” de que, se essas vulnerabilidades existirem, alguém descobrirá como explorá-las. Provavelmente alguém já fez isso.
Considere os filtros de spam, programas automatizados que filtram qualquer e-mail estranho. Os spammers podem tentar contornar essa barreira alterando a grafia das palavras (em vez de Viagra - vi @ gra) ou adicionando uma lista de "palavras boas" que geralmente são encontradas em letras normais: como "aha", "eu", "contente". Enquanto isso, os spammers podem tentar remover palavras que freqüentemente aparecem no spam, como "móvel" ou "ganhar".
Aonde os golpistas podem chegar um dia? Um carro autônomo enganado por um adesivo do sinal de pare é um cenário clássico que foi imaginado por especialistas na área. Dados adicionais podem ajudar a pornografia a escapar por filtros seguros. Outros podem tentar aumentar o número de verificações. Os hackers podem ajustar o código do software malicioso para escapar da aplicação da lei.
Os invasores podem descobrir como criar dados ausentes se conseguirem uma cópia de um algoritmo de aprendizado de máquina que desejam enganar. Mas não precisa ser para passar pelo algoritmo. Pode-se simplesmente quebrá-lo com força bruta, jogando versões ligeiramente diferentes de e-mail ou imagens nele até que passem. Com o tempo, pode até ser usado para um modelo completamente novo que sabe o que os mocinhos estão procurando e quais dados produzir para enganá-los.
“As pessoas manipulam sistemas de aprendizado de máquina desde que foram apresentados”, diz Patrick McDaniel, professor de ciência da computação e engenharia da Universidade da Pensilvânia. "Se as pessoas usarem esses métodos, podemos nem saber sobre isso."
Esses métodos podem ser usados não apenas por fraudadores - as pessoas podem se esconder dos olhos de raio-X das tecnologias modernas.
“Se você é algum tipo de dissidente político sob um regime repressivo e deseja conduzir eventos sem o conhecimento das agências de inteligência, pode ser necessário evitar métodos de observação automática baseados em aprendizado de máquina”, diz Lode.
Em um projeto publicado em outubro, pesquisadores da Carnegie Mellon University criaram um par de óculos que pode enganar sutilmente o sistema de reconhecimento facial, fazendo com que um computador confunda a atriz Reese Witherspoon com Russel Crowe. Parece ridículo, mas essa tecnologia pode ser útil para qualquer pessoa desesperada para evitar a censura por aqueles que estão no poder.
O que fazer com tudo isso? “A única maneira de evitar isso completamente é criar um modelo perfeito que sempre estará correto”, diz Lode. Mesmo se pudéssemos criar inteligência artificial que supera os humanos em todos os sentidos, o mundo ainda pode deslizar um porco em um lugar inesperado.
Os algoritmos de aprendizado de máquina geralmente são julgados por sua precisão. Um programa que reconhece cadeiras 99% do tempo será claramente melhor do que aquele que reconhece 6 cadeiras em 10. Mas alguns especialistas sugerem outra forma de avaliar a capacidade do algoritmo de lidar com um ataque: quanto mais difícil, melhor.
Outra solução pode ser que os especialistas possam definir o ritmo dos programas. Crie seus próprios exemplos de ataques no laboratório com base nas capacidades dos criminosos em sua opinião e, em seguida, mostre-os ao algoritmo de aprendizado de máquina. Isso pode ajudá-lo a se tornar mais resiliente com o tempo - desde que, é claro, os ataques de teste sejam do tipo que será testado no mundo real.
“Os sistemas de aprendizado de máquina são uma ferramenta para pensar. Temos que ser inteligentes e racionais sobre o que damos a eles e o que eles nos dizem”, disse McDaniel. "Não devemos tratá-los como oráculos perfeitos da verdade."
ILYA KHEL
