A inteligência artificial está se desenvolvendo ativamente na Rússia e no mundo - inclusive emocional. Ele está interessado em grandes empresas e startups ambiciosas que estão apresentando novos desenvolvimentos em varejo, marketing, educação, bancos e recrutamento. De acordo com a Mordor Intelligence, o mercado de reconhecimento de emoções foi avaliado em US $ 12 bilhões em 2018 e crescerá para US $ 92 bilhões em 2024.
O que é IA emocional
Emotion AI (Emotion AI) é uma IA que permite a um computador reconhecer, interpretar e responder às emoções humanas. Uma câmera, microfone ou sensor vestível lê o estado de uma pessoa e uma rede neural processa os dados para determinar uma emoção.
Existem duas maneiras principais de analisar as emoções:
- Contato. Uma pessoa é colocada em um dispositivo que lê seu pulso, impulsos elétricos do corpo e outros indicadores fisiológicos. Essas tecnologias podem determinar não apenas as emoções, mas também o nível de estresse ou a probabilidade de uma crise epiléptica.
- Sem contato. As emoções são analisadas com base em gravações de vídeo e áudio. O computador aprende expressões faciais, gestos, movimentos dos olhos, voz e fala.
Para treinar uma rede neural, os cientistas de dados coletam uma amostra de dados e marcam manualmente a mudança no estado emocional de uma pessoa. O programa estuda padrões e entende quais signos pertencem a quais emoções.
A rede neural pode ser treinada em dados diferentes. Algumas empresas e laboratórios usam fitas de vídeo, outros estudam voz e alguns se beneficiam de fontes múltiplas. Porém, quanto mais diversos os dados, mais preciso é o resultado.
Considere duas fontes principais:
Vídeo promocional:
Fotos e fotos de vídeo
As imagens são processadas primeiro para facilitar o trabalho da IA. Características faciais - sobrancelhas, olhos, lábios e assim por diante - são marcadas com pontos. A rede neural determina a posição dos pontos, compara-os com os sinais de emoções do modelo e conclui qual emoção é refletida - raiva, medo, surpresa, tristeza, alegria ou calma.
Existe também outra abordagem. Marcadores de emoções são imediatamente notados no rosto - por exemplo, um sorriso ou sobrancelhas franzidas. Em seguida, a rede neural procura marcadores na imagem, analisa suas combinações e determina o estado da pessoa.
O estudo dos marcadores emocionais começou no século XX. Verdade, então eles foram considerados separadamente das redes neurais. Os cientistas Paul Ekman e Wallace Friesen desenvolveram o Facial Action Coding System (FACS) em 1978. Ele divide as expressões faciais em movimentos musculares individuais ou unidades de ação. O pesquisador estuda as unidades motoras e as compara com a emoção.
Voz e fala
A rede neural extrai muitos parâmetros da voz do sinal acústico - por exemplo, tom e ritmo. Ela estuda a mudança no tempo e determina o estado do falante.
Às vezes, um espectrograma é usado para treinamento - uma imagem que mostra a força e a frequência de um sinal ao longo do tempo. Além disso, o AI analisa o vocabulário para resultados mais precisos.
Onde está a tecnologia usada
Vendas e publicidade
O uso mais óbvio da tecnologia de reconhecimento de emoções é no marketing. Com a ajuda deles, você pode determinar como um vídeo publicitário afeta uma pessoa. Para isso, pode-se, por exemplo, instalar uma estrutura com uma câmera que vai mudar de propaganda dependendo do humor, sexo e idade das pessoas que estiverem passando.
Um design semelhante foi desenvolvido pelas startups Cloverleaf e Affectiva. Eles introduziram um anúncio de ponto de prateleira eletrônico chamado shelfPoint, que coleta dados sobre as emoções dos compradores. Novas tecnologias foram testadas pela Procter & Gamble, Walmart e outras grandes empresas. De acordo com a Cloverleaf, as vendas aumentaram de 10 a 40%, enquanto o envolvimento do cliente aumentou de 3 a 5 vezes.
Uma opção mais incomum é um consultor de robô com inteligência artificial. Ele irá interagir com os clientes, ler suas emoções e influenciá-los. E também fazer ofertas personalizadas.
O robô de serviço foi apresentado pela startup russa Promobot. Ele usa uma rede neural desenvolvida pelo Neurodata Lab, que determina emoções de várias fontes ao mesmo tempo: gravações de um rosto, voz, movimentos, bem como taxas de respiração e pulso.
A Promobot vende ativamente seus robôs no exterior. Em 2018, a startup fechou contrato com a americana Intellitronix por US $ 56,7 milhões e na próxima acertou o fornecimento de aparelhos para Arábia Saudita, Israel, Kuwait e Suécia - para eles a empresa receberá US $ 1,1 milhão. Segundo a Promobot, hoje 492 robôs estão trabalhando em 34 países ao redor do mundo como guias, concierges, consultores e promotores.
Bancos
As tecnologias de reconhecimento de emoções ajudam os bancos a obter feedback dos clientes sem pesquisas e melhorar o serviço. Câmeras de vídeo são instaladas nos departamentos e algoritmos de gravação determinam a satisfação dos visitantes. As redes neurais também podem analisar a voz e a fala do cliente e da operadora durante uma chamada para o contact center.
Na Rússia, eles vêm tentando implementar IA emocional há muito tempo: ela foi testada no Sberbank em 2015 e, três anos depois, o Alfa-Bank lançou seu piloto para analisar emoções em vídeo. Além de gravações de câmeras de vigilância, gravações de chamadas também são usadas. A VTB lançou um projeto piloto para implementar IA emocional em 2019. E Rosbank, junto com Neurodata Lab, já testou a determinação das emoções dos clientes por voz e fala. O cliente ligou para o banco e a rede neural analisou seu estado e o significado da conversa. Além disso, o AI percebeu pausas na fala da operadora, no volume da voz e no tempo de comunicação. Isso permitiu não só verificar a satisfação com o atendimento, mas também monitorar o trabalho das operadoras de contact center.
Agora Rosbank implementou sua própria solução para reconhecimento de emoções. Em vez de um sinal acústico, o sistema analisa o texto, enquanto a precisão permanece alta.
O Speech Technology Center também está envolvido no reconhecimento de emoções na fala (o Sberbank possui uma participação majoritária). O serviço Smart Logger analisa a voz e o vocabulário de clientes e operadoras, tempo de conversação e pausas para averiguar a satisfação com o serviço.
Esfera de entretenimento
Os sistemas de reconhecimento de emoções podem ser usados para avaliar a reação do público a um filme. A Disney em 2017, em colaboração com cientistas, realizou um experimento: instalou câmeras em um cinema e conectou algoritmos de aprendizagem profunda para avaliar as emoções dos espectadores. O sistema poderia prever as reações das pessoas observando-as por apenas alguns minutos. Durante o experimento, coletamos um conjunto de dados impressionante: 68 marcadores de cada um dos 3.179 visualizadores. No total, foram obtidas 16 milhões de imagens faciais.
Para o mesmo propósito, a hospedagem de vídeos no YouTube criou sua própria IA chamada YouFirst. Ele permite que blogueiros de vídeo e empresas testem o conteúdo antes de lançá-lo na plataforma. Os usuários clicam em um link especial, concordam em gravar um vídeo e assisti-lo. Nesse momento, a rede neural determina suas reações e envia os dados para o proprietário do canal.
Entre as empresas russas, as reações aos vídeos podem ser analisadas, por exemplo, pela Neurobotics. A empresa desenvolveu o programa EmoDetect que reconhece alegria, tristeza, surpresa, medo, raiva, nojo e neutralidade. O programa estuda até 20 características faciais locais em quadros congelados e uma série de imagens. O sistema analisa unidades motoras e usa a tecnologia de codificação facial FACS. É possível gravar vídeo de uma webcam. A API EmoDetect permite que você integre o produto com aplicativos externos.
A IA emocional também está começando a ser aplicada na indústria de jogos. Ajuda a personalizar o jogo e adicionar mais interação com o jogador.
Por exemplo, a empresa americana de inteligência artificial Affectiva ajudou a criar o thriller psicológico Nevermind. A tensão depende do estado do jogador: o enredo fica mais sombrio quando ele está sob estresse e vice-versa.
Educação
O reconhecimento da emoção também se aplica à educação. Ele pode ser usado para estudar o humor e a atenção dos alunos durante a aula.
Desenvolvedores russos aplicaram IA emocional em Perm. O ímpeto para o desenvolvimento da tecnologia foram os ataques de alunos a alunos do ensino fundamental e ao professor. A Rostelecom e a startup New Vision desenvolveram o programa Smart and Safe School para monitorar o estado emocional das crianças. Isso ajudará a identificar adolescentes não-sociais antes que a tragédia ocorra.
Foi baseado no sistema Paul Ekman. A rede neural analisou os menores movimentos musculares usando 150 pontos na face. Uma grande quantidade de dados foi coletada durante a aula: 5-6 mil frames para cada aluno. O programa estudou o conjunto de dados e calculou o estado emocional de cada criança. Segundo os criadores, a precisão foi de 72%.
RH
A IA emocional pode ser útil no trabalho com a equipe. Ajuda a determinar o estado do funcionário, a perceber seu cansaço ou insatisfação com o tempo e a redistribuir as tarefas com mais eficiência.
Além disso, a tecnologia ajuda no recrutamento. Com a ajuda da IA emocional, você pode verificar um candidato a um emprego ou pegar uma mentira durante uma entrevista.
A americana HireVue usa inteligência artificial para avaliar os candidatos. O candidato passa por uma entrevista em vídeo, e a rede neural determina sua condição por meio de palavras-chave, entonação de voz, movimentos e expressões faciais. O AI destaca as características que são importantes para o trabalho e dá notas, e o gerente de RH seleciona os candidatos certos.
A startup Human, com sede em Londres, usa vídeo para identificar emoções e combiná-las com traços de caráter. Após a entrevista em vídeo, os recrutadores recebem um relatório que diz o quão honesto, curioso, animado, entusiasmado ou confiante o candidato era e como ele respondeu às perguntas.
Medicamento
Nesta área, não apenas o não contato, mas também os métodos de contato para determinar as emoções serão úteis. Eles estão sendo ativamente implementados por startups estrangeiras - por exemplo, Affectiva e Brain Power. Os desenvolvimentos das empresas incluem óculos de IA que ajudam crianças e adultos com autismo a reconhecer as emoções de outras pessoas e desenvolver habilidades sociais.
Mas as redes neurais podem ajudar os pacientes sem sensores vestíveis. Cientistas do Instituto de Tecnologia de Massachusetts criaram uma rede neural que detecta depressão analisando a fala de uma pessoa. A precisão do resultado foi de 77%. E a startup Beyond Verbal está usando IA para analisar a saúde mental dos pacientes. Nesse caso, a rede neural seleciona apenas biomarcadores de voz da gravação de áudio.
Carros
O Massachusetts Institute of Technology está desenvolvendo uma IA chamada AutoEmotive que determinará a condição do motorista e dos passageiros. Ele não apenas monitorará o nível de estresse, mas também tentará reduzi-lo - tocando uma música suave, ajustando a temperatura na cabine ou tomando um caminho menos movimentado.
Limitações da IA emocional
A rede neural não pode levar em consideração o contexto
A IA aprendeu a identificar emoções e estados humanos básicos, mas até agora não consegue lidar bem com situações mais complexas. Os cientistas observam que as expressões faciais nem sempre mostram com precisão como uma pessoa realmente se sente. Seu sorriso pode ser fingido ou sarcástico, e isso só pode ser determinado pelo contexto.
Os especialistas do NtechLab acreditam que ainda é difícil determinar com precisão o motivo desta ou daquela emoção.
O NtechLab enfatiza que é necessário reconhecer não só as expressões faciais, mas também os movimentos humanos. Dados diversos tornarão a IA emocional muito mais eficiente. Daniil Kireev, pesquisador líder da empresa de desenvolvimento de produtos de reconhecimento facial VisionLabs, concorda com isso. Em sua opinião, com uma grande quantidade de dados, a precisão dos algoritmos aumenta.
“Existem erros, seu número depende de muitos fatores: a qualidade da amostra de treinamento, a rede neural treinada, os dados sobre os quais o sistema final funciona. Ao adicionar informações de diferentes fontes - por exemplo, voz - você pode melhorar a qualidade do sistema. Ao mesmo tempo, é importante compreender que pelo rosto preferimos determinar sua expressão do que a emoção final. O algoritmo pode tentar determinar a emoção simulada, mas, para isso, o desenvolvimento da tecnologia deve dar um pequeno passo”, afirma Daniil Kireev.
Equipamento ruim
Fatores externos influenciam a qualidade dos algoritmos. Para que a precisão do reconhecimento de emoções seja alta, as câmeras de vídeo e os microfones devem ser de alta qualidade. Além disso, o resultado é influenciado pela iluminação, pela localização da câmera. De acordo com Daniil Kireev, as condições não controladas complicam o processo de determinação dos estados de uma pessoa.
Para que a IA emocional se desenvolva, você precisa de hardware de qualidade. Se você encontrar um bom equipamento e configurá-lo corretamente, a precisão dos resultados será muito alta. E quando se tornar mais acessível e difundido, as tecnologias de reconhecimento de emoção serão melhoradas e implementadas de forma mais ativa.
“A precisão do sistema depende de muitos fatores. O principal deles é a qualidade dos quadros estáticos da câmera, que são dados ao sistema para reconhecimento. A qualidade dos quadros estáticos, por sua vez, é afetada pelas configurações e características da câmera, a matriz, a iluminação, a localização do dispositivo, o número de rostos no quadro. Com a configuração correta do hardware e software, é possível atingir a precisão da emoção detectada em até 90-95%”, observa Vitaly Vinogradov, gerente de produto do serviço de vigilância de vídeo em nuvem e análise de vídeo da Ivideon.
Perspectiva de Tecnologia
Agora, na Rússia, a IA emocional está apenas ganhando impulso. As startups desenvolvem tecnologia e comercializam seus produtos, e os clientes os testam com cautela.
Mas o Gartner estima que até 2024, mais da metade dos anúncios online serão feitos usando IA emocional. A visão computacional, que é usada para detectar emoções, se tornará uma das tecnologias mais importantes nos próximos 3-5 anos. E a MarketsandMarkets prevê que o mercado de análise de emoções dobrará até 2024 - de US $ 2,2 bilhões para US $ 4,6 bilhões.
Além disso, grandes empresas estão demonstrando interesse no reconhecimento de emoções - por exemplo, Procter & Gamble, Walmart, VTB, Rosbank, Sberbank e Alfa-Bank. E startups domésticas estão desenvolvendo projetos-piloto que se tornarão soluções prontas para negócios no futuro.
Evgeniya Khrisanfova
