Por vários anos, na década de 1980, os candidatos à Escola de Medicina do Hospital St George em Londres foram selecionados usando um método de alta tecnologia. Um programa de computador, um dos primeiros em seu tipo, fazia a varredura de currículos, selecionando entre todas as inscrições cerca de 2.000 candidatos por ano. O programa revisou as fichas de admissão, examinando as características dos candidatos aprovados, e fez ajustes até que suas decisões coincidissem com a opinião do comitê de admissão.
No entanto, o programa aprendeu a encontrar mais do que boas notas e sinais de desempenho acadêmico. Quatro anos após a implementação do programa, dois médicos do hospital descobriram que o programa tendia a rejeitar candidatas do sexo feminino e indivíduos com nomes não europeus, independentemente de seu mérito acadêmico. Os médicos descobriram que cerca de 60 candidatos simplesmente não tinham entrevistas todos os anos por causa de seu gênero ou raça. O programa incorporou o preconceito de gênero e raça aos dados de sua formação - na verdade, aprendeu que médicos e estrangeiros não são os melhores candidatos a médicos.
Trinta anos depois, enfrentamos um problema semelhante, mas os programas com preconceitos internos estão agora mais difundidos e tomam decisões com riscos ainda maiores. Algoritmos de inteligência artificial baseados em aprendizado de máquina são usados por tudo, desde agências governamentais até saúde, tomando decisões e fazendo previsões com base em dados históricos. Ao examinar os padrões dos dados, eles também absorvem os vieses dos dados. O Google, por exemplo, mostra mais anúncios de empregos de baixa remuneração para mulheres do que para homens; O envio de um dia da Amazon contorna os bairros negros e as câmeras digitais lutam para reconhecer rostos não brancos.
É difícil saber se o algoritmo é tendencioso ou justo, e até mesmo os especialistas em computador pensam assim. Um dos motivos é que os detalhes da criação do algoritmo geralmente são considerados informações proprietárias, portanto, são cuidadosamente guardados pelos proprietários. Em casos mais complexos, os algoritmos são tão complexos que mesmo os criadores não sabem exatamente como funcionam. Este é o problema da chamada "caixa preta" da IA - nossa incapacidade de ver o interior do algoritmo e entender como ele chega a uma solução. Se for deixada trancada, nossa sociedade pode ser severamente danificada: o ambiente digital incorpora a discriminação histórica que lutamos por muitos anos, da escravidão e servidão à discriminação contra as mulheres.
Essas preocupações, anteriormente expressas em pequenas comunidades de ciência da computação, agora estão ganhando impulso. Nos últimos dois anos, surgiram várias publicações nesta área sobre transparência em inteligência artificial. Junto com essa consciência, um senso de responsabilidade cresce. “Há algo que não deveríamos construir?”, Pergunta Keith Crawford, pesquisador da Microsoft e cofundador do AI Now Insitute em Nova York.
“O aprendizado de máquina finalmente veio à tona. Agora estamos tentando usá-lo para centenas de tarefas diferentes no mundo real”, diz Rich Caruana, cientista sênior da Microsoft. “É possível que as pessoas sejam capazes de implantar algoritmos maliciosos que afetarão significativamente a sociedade a longo prazo. Agora, parece que, de repente, todos perceberam que este é um capítulo importante em nosso campo.”
Vídeo promocional:
Algoritmo não autorizado
Há muito tempo que usamos algoritmos, mas o problema da caixa preta não tem precedentes. Os primeiros algoritmos eram simples e transparentes. Ainda usamos muitos deles - por exemplo, para avaliar a qualidade de crédito. A cada novo uso, a regulamentação entra em ação.
“As pessoas têm usado algoritmos para avaliar a qualidade de crédito por décadas, mas essas áreas tiveram alguns acordos muito fortes que cresceram em paralelo com o uso de algoritmos preditivos”, diz Caruana. As regras regulatórias garantem que os algoritmos preditivos forneçam uma explicação para cada pontuação: você foi rejeitado porque tem muito crédito ou pouca receita.
Em outras áreas, como o sistema jurídico e a publicidade, não existem regras que proíbam o uso de algoritmos deliberadamente ilegíveis. Você pode não saber por que o empréstimo foi recusado ou não foi contratado, porque ninguém obriga o proprietário do algoritmo a explicar como ele funciona. “Mas sabemos que, como os algoritmos são treinados com dados do mundo real, eles precisam ser tendenciosos - porque o mundo real é tendencioso”, diz Caruana.
Considere, por exemplo, a linguagem, uma das fontes mais óbvias de preconceito. Quando os algoritmos são treinados a partir de texto escrito, eles formam algumas associações entre palavras que aparecem juntas com mais frequência. Por exemplo, eles aprendem que "para um homem ser programador de computador é o mesmo que uma mulher ser dona de casa". Quando esse algoritmo tem a tarefa de encontrar um currículo adequado para uma vaga de programador, é provável que seja selecionado entre candidatos do sexo masculino.
Problemas como esses são bastante fáceis de corrigir, mas muitas empresas simplesmente não o fazem. Em vez disso, eles esconderão tais inconsistências atrás de um escudo de informações protegidas. Sem acesso aos detalhes do algoritmo, os especialistas em muitos casos não serão capazes de determinar se há um viés ou não.
Visto que esses algoritmos são secretos e permanecem fora da jurisdição dos reguladores, é quase impossível para os cidadãos processar os criadores dos algoritmos. Em 2016, o Tribunal Superior de Wisconsin rejeitou o pedido de uma pessoa para revisar o funcionamento interno do COMPAS. O homem, Eric Loomis, foi condenado a seis anos de prisão em parte porque o COMPAS o considerou de "alto risco". Loomis diz que seu direito ao devido processo foi violado pela dependência do juiz de um algoritmo opaco. O pedido final ao Supremo Tribunal dos EUA falhou em junho de 2017.
Mas as empresas secretas não desfrutarão de sua liberdade indefinidamente. Em março, a UE aprovará leis que exigirão que as empresas expliquem aos clientes interessados como seus algoritmos funcionam e como as decisões são tomadas. Os EUA não têm essa legislação em andamento.
Forense caixa preta
Independentemente de os reguladores se envolverem em tudo isso, uma mudança cultural em como os algoritmos são projetados e implantados pode reduzir a prevalência de algoritmos tendenciosos. À medida que mais e mais empresas e programadores se comprometem a tornar seus algoritmos transparentes e explicáveis, alguns esperam que as empresas que não o fizerem percam sua boa reputação aos olhos do público.
O crescimento do poder de computação tornou possível criar algoritmos que são precisos e explicáveis - um desafio técnico que os desenvolvedores historicamente não conseguiram superar. Pesquisas recentes sugerem que modelos explicáveis podem ser criados para prever a recorrência de criminosos com a mesma precisão de uma caixa preta de cientistas forenses como o COMPAS.
“Terminamos - sabemos como criar modelos sem caixas pretas”, diz Cynthia Rudin, professora assistente de ciência da computação e engenharia elétrica na Duke University. “Mas não é tão fácil chamar a atenção das pessoas para esse trabalho. Se as agências governamentais parassem de pagar por modelos de caixa preta, isso ajudaria. Se os juízes se recusarem a usar modelos de caixa preta para a sentença, isso também ajudará”.
Outros estão trabalhando para encontrar maneiras de testar a validade dos algoritmos, criando um sistema de freios e contrapesos antes que o algoritmo seja lançado para o mundo, assim como toda nova droga é testada.
“Os modelos estão sendo feitos e implantados muito rapidamente agora. Não há validação adequada antes que o algoritmo seja lançado”, diz Sarah Tan da Cornell University.
Idealmente, os desenvolvedores deveriam ignorar os preconceitos conhecidos - como sexo, idade e raça - e executar simulações internas para testar seus algoritmos para outros problemas.
Nesse ínterim, antes de chegar ao ponto em que todos os algoritmos serão testados exaustivamente antes do lançamento, já é possível determinar quais sofrerão viés.
Em seu trabalho mais recente, Tan, Caruana e seus colegas descreveram uma nova maneira de entender o que pode estar acontecendo sob o capô dos algoritmos de caixa preta. Os cientistas criaram um modelo que imita o algoritmo da caixa preta, aprendendo a estimar o risco de reincidência usando dados COMPAS. Eles também criaram outro modelo que treinou em dados do mundo real para mostrar se a reincidência prevista realmente ocorreu. A comparação dos dois modelos permitiu que os cientistas avaliassem a precisão da pontuação prevista sem analisar o algoritmo. Diferenças nos resultados dos dois modelos podem indicar quais variáveis, como raça ou idade, podem ser mais importantes em um determinado modelo. Seus resultados mostraram que o COMPAS está discriminando os negros.
Algoritmos bem projetados podem eliminar preconceitos de longa data na justiça criminal, no policiamento e em muitas outras áreas da sociedade.
Ilya Khel
