O Tumblr anunciou no início do mês passado que proibiria a pornografia. Quando a nova política de conteúdo entrou em vigor, cerca de duas semanas depois - em 17 de dezembro - ficou claro que haveria problemas. Depois de implantar um sistema de inteligência artificial que deveria banir toda a pornografia no site, erroneamente sinalizou postagens inocentes em 455,4 milhões de blogs no site entre 168,2 bilhões de postagens: vasos, bruxas, peixes e todo aquele jazz.
Pornografia para inteligência artificial
Embora não esteja claro qual filtro automático o Tumblr usou ou criou o seu - a empresa não respondeu a perguntas sobre o assunto -, está claro que a rede social está presa entre sua própria política e tecnologia. Por exemplo, a postura inconsistente do site sobre "mulheres mostrando mamilos" e nudez artística, por exemplo, levou a decisões contextuais que demonstram que mesmo o Tumblr não sabe o que proibir em sua plataforma. Como uma empresa frequente pode determinar o que considera obsceno?
Primeiro, bloquear conteúdo arriscado é difícil porque é difícil definir o que é desde o início. A definição de obscenidade é uma armadilha para ursos que tem mais de cem anos. Em 1896, os Estados Unidos aprovaram pela primeira vez leis que regulamentam a obscenidade. Em 1964, em Jacobellis v. Ohio, sobre se Ohio poderia proibir a exibição de um filme de Louis Malle, a Suprema Corte emitiu o que é provavelmente a definição mais famosa de pornografia hardcore hoje: “Não vou tentar definir mais esse tipo de material hoje, que, pelo que entendi, será incluído na descrição literal; e posso nunca ser capaz de torná-lo inteligível”, disse o juiz Potter Stewart. "Mas eu sei o que é quando o vejo, e o filme associado a este caso não é."
Algoritmos de aprendizado de máquina têm o mesmo problema. Este é exatamente o problema que Brian Delorge, CEO da Picnix, uma empresa que vende tecnologia de inteligência artificial especializada, está tentando resolver. Um de seus produtos, o Iris, é um aplicativo do lado do cliente para detectar pornografia a fim de "ajudar as pessoas", como Delorge diz, "que não querem pornografia em suas vidas". Ele observa que o problema específico com a pornografia é que pode ser qualquer coisa, um monte de coisas diferentes - e as imagens que não são pornográficas podem ter elementos semelhantes. A imagem da festa na praia pode ser bloqueada não porque tem mais pele do que na foto do escritório, mas porque está na borda. “É por isso que é muito difícil treinar um algoritmo de reconhecimento de imagem para fazer tudo de uma vez”, diz DeLorge."Quando a definição se torna difícil para os humanos, o computador também tem dificuldade." Se as pessoas não conseguem concordar sobre o que é pornografia e o que não é, um computador pode esperar saber a diferença?
Para ensinar uma IA a detectar pornografia, a primeira coisa que você precisa fazer é alimentá-la com pornografia. Muita pornografia. Onde eu consigo isso? Bem, a primeira coisa que as pessoas fazem é baixar um monte de vídeos do Pornhub, XVideos, diz Dan Shapiro, co-fundador da Lemay.ai, uma startup que cria filtros de IA para seus clientes. "Esta é uma daquelas áreas cinzentas de natureza jurídica - por exemplo, se você aprender com o conteúdo de outras pessoas, ele pertence a você?"
Depois que os programadores baixam toneladas de pornografia, eles cortam as imagens não pornográficas do vídeo para garantir que as imagens usadas não bloqueiem os entregadores de pizza. As plataformas pagam às pessoas, principalmente fora dos Estados Unidos, para marcar esse conteúdo; o trabalho é mal pago e enfadonho, como entrar em um captcha. Eles apenas sentam e observam: isso é pornografia, é isso. Você tem que filtrar um pouco, porque todo pornô sai com um rótulo. O aprendizado é melhor se você usar não apenas fotografias, mas grandes amostras de dados.
Vídeo promocional:
“Muitas vezes, você não precisa apenas filtrar a pornografia, mas sim o material que a acompanha”, diz Shapiro. "Como perfis falsos com foto e telefone de uma garota." Ele está se referindo a profissionais do sexo que procuram clientes, mas pode ser qualquer coisa que não seja totalmente legal. "Isso não é pornografia, mas é o tipo de coisa que você não quer assistir na sua plataforma, certo?" Um bom moderador automatizado aprende com milhões - senão dezenas de milhões - de amostras de conteúdo, o que pode economizar toneladas de horas de trabalho.
"Você pode comparar isso com a diferença entre uma criança e um adulto", diz Matt Zeiler, CEO e fundador da Clarifai, uma startup de visão computacional que faz esse tipo de filtragem de imagem para clientes corporativos. “Posso dizer com certeza - alguns meses atrás, tivemos um bebê. Eles não sabem nada sobre o mundo, tudo é novo para eles. " Você tem que mostrar muitas coisas à criança (o algoritmo) para que ela entenda alguma coisa. “Milhões e milhões de exemplos. Mas, como adultos - quando criamos tanto contexto sobre o mundo e entendemos como ele funciona - podemos aprender algo novo com apenas alguns exemplos. " (Sim, ensinar uma IA a filtrar conteúdo adulto é como mostrar a uma criança muito pornografia.) Empresas como a Clarifai estão crescendo rapidamente hoje. Eles têm um bom banco de dados do mundo, podem distinguir cães de gatos vestidos de pelados. A empresa de Zeiler usa seus modelos para treinar novos algoritmos para seus clientes - como o modelo original processava muitos dados, as versões personalizadas exigiriam apenas novos conjuntos de dados para funcionar.
No entanto, é difícil para o algoritmo acertar. Funciona bem com conteúdo obviamente pornográfico; mas um classificador pode marcar incorretamente um anúncio de roupa íntima como proibido porque a imagem tem mais couro do que, digamos, um escritório. (Com biquínis e cuecas, segundo Zeiler, é muito difícil). Isso significa que os profissionais de marketing devem se concentrar nesses casos extremos em seu trabalho, priorizando os modelos difíceis de classificar.
Qual é a parte mais difícil?
"Anime pornô", diz Zeiler. "A primeira versão do nosso detector de nudez não usava pornografia em desenhos animados para fins educacionais." Muitas vezes a IA errou porque não reconheceu o hentai. “Depois de trabalhar nisso para o cliente, injetamos muitos de seus dados no modelo e melhoramos significativamente a precisão do filtro de desenho animado, mantendo a precisão de fotografias reais”, diz Zeiler.
A tecnologia que foi ensinada para farejar pornografia pode ser usada em outras coisas também. As tecnologias por trás deste sistema são notavelmente flexíveis. Isso é mais do que peitos de anime. O Jigsaw from Alphabet, por exemplo, é amplamente usado como moderador automático de comentários em um jornal. Este software funciona de maneira semelhante aos classificadores de imagens, exceto que classifica por toxicidade em vez de nudez. (A toxicidade em comentários textuais é tão difícil de determinar quanto a pornografia em fotos.) O Facebook usa esse tipo de filtragem automática para detectar mensagens suicidas e conteúdo relacionado ao terrorismo e tentou usar essa tecnologia para detectar notícias falsas em sua plataforma massiva.
Tudo isso ainda depende da supervisão humana; somos melhores em lidar com a ambiguidade e o contexto ambíguo. Zeiler diz que não acha que seu produto ocupou o emprego de ninguém. Ele resolve o problema de dimensionamento da Internet. Os humanos ainda vão treinar a IA classificando e rotulando o conteúdo para que a IA possa distingui-lo.
Este é o futuro da moderação: soluções personalizadas e prontas para uso, fornecidas a empresas que fazem todo o seu negócio, ensinando cada vez mais a classificadores avançados mais dados. Assim como Stripe e Square oferecem soluções de pagamento prontas para uso para empresas que não desejam processá-las por conta própria, startups como Clarifai, Picnix e Lemay.ai farão moderação online.
Dan Shapiro, da Lemay.ai, está esperançoso. “Como acontece com qualquer tecnologia, ela ainda está em processo de invenção. Portanto, não acho que cederemos se falharmos. " Mas será que a IA algum dia será capaz de operar de forma autônoma, sem supervisão humana? Não está claro. “Não há nenhum homenzinho em uma caixa de rapé filtrando cada foto”, diz ele. "Você precisa obter dados de todos os lugares para treinar o algoritmo nisso."
Zeiler, por outro lado, acredita que um dia a inteligência artificial moderará tudo por conta própria. No final, o número de intervenções humanas será reduzido a zero ou pouco esforço. Gradualmente, os esforços humanos se transformarão em algo que a IA não pode fazer agora, como raciocínio de alto nível, autoconsciência - tudo o que os humanos têm.
Reconhecer a pornografia faz parte disso. A identificação é uma tarefa relativamente trivial para humanos, mas é muito mais difícil treinar um algoritmo para reconhecer nuances. Determinar o limite quando um filtro marca uma imagem como pornográfica ou não pornográfica também é uma tarefa difícil, em parte matemática.
A inteligência artificial é um espelho imperfeito de como vemos o mundo, assim como a pornografia é um reflexo do que acontece entre as pessoas quando estão sozinhas. Há alguma verdade nisso, mas não há um quadro completo.
Ilya Khel
