A Inteligência Artificial leu os comentários agressivos dos usuários do Reddit e entendeu como as pessoas que odeiam outras pessoas falam. É mais difícil enganá-lo do que um moderador de bot normal.
A Internet é habitada por trolls gordos e magros e apenas pessoas rudes que não vão para o bolso atrás de palavras. Moderar a Internet manualmente é uma tarefa difícil e ingrata. Os bots programados para pesquisar palavras da "lista proibida" se saem melhor, mas não podem saber quando um comentário cáustico com palavras em código é uma piada inofensiva e quando é um ataque verbal maligno.
Pesquisadores no Canadá ensinaram inteligência artificial para distinguir piadas rudes de piadas ofensivas e o que os sociólogos chamam de "discurso de ódio".
Dana Wormsley, uma das criadoras da IA, observa que "discurso de ódio" é difícil de formalizar. Na verdade, palavras formalmente ofensivas podem ser usadas com ironia e em seus significados mais brandos; apenas alguns dos textos que contêm tais palavras incitam e humilham seriamente. Não vamos dar exemplos, porque as organizações governamentais que regulam a Internet na Rússia ainda não têm inteligência artificial).
A rede neural foi treinada em amostras de declarações de membros da comunidade conhecidos por sua hostilidade a diferentes grupos da população. A rede neural aprendeu com as postagens do site Reddit - uma plataforma onde você pode encontrar uma grande variedade de grupos de interesse, de ativistas dos direitos civis a misóginos radicais. Os textos que foram carregados no sistema na maioria das vezes insultaram afro-americanos, pessoas com excesso de peso e mulheres.
Uma rede neural treinada dessa maneira gerou menos falsos positivos do que programas que determinam "discurso de ódio" por palavras-chave. O sistema detectou racismo onde não havia palavras indicadoras. Mas apesar do bom desempenho, os criadores do moderador de IA não têm certeza de que seu desenvolvimento será amplamente utilizado. Até agora, ela encontrou com sucesso discurso de ódio no Reddit, mas se ela será capaz de fazer o mesmo no Facebook e outras plataformas é desconhecido. Além disso, o sistema é imperfeito, às vezes perdendo muitas das declarações racistas aparentemente rudes que um mecanismo de busca por palavra-chave não deixaria de ver. O único que consegue distinguir um insulto de uma piada inocente enquanto a pessoa permanece.
