Recentemente, as redes neurais têm surpreendido com suas habilidades - você poderia acreditar dez anos atrás que um computador poderia "animar" retratos de Dostoiévski e Marilyn Monroe? Prepare-se para se surpreender ainda mais, porque os pesquisadores do MIT criaram uma rede neural Speech2Face que é capaz de desenhar retratos de pessoas simplesmente ouvindo suas vozes. A tecnologia está longe de ser ideal, mas sua capacidade de determinar o sexo, nacionalidade e idade de uma pessoa é impressionante.
Para treinar a rede neural, o kit AVSpeech foi usado com um milhão de vídeos curtos com milhares de pessoas falando. As trilhas com vídeo e som são separadas, então o sistema foi capaz de estudar cada tipo de material com o máximo de detalhes possível. Na primeira fase do trabalho, o algoritmo VGG-Face estudou fragmentos de vídeo e criou retratos das pessoas neles em expressões faciais neutras e de rosto inteiro. Outra parte do algoritmo estudou o espectrograma da voz e aplicou mudanças adicionais aos retratos resultantes - como resultado, um retrato aproximado de cada pessoa falando foi obtido.
Uma rede neural para a criação de retratos baseados em voz já é uma realidade
Se você comparar o rosto de uma pessoa com um vídeo e a opção proposta pelo algoritmo, poderá encontrar muitas diferenças. No entanto, os pesquisadores garantem que inicialmente não queriam criar o retrato mais parecido de uma pessoa - muitos fatores afetam o tom e a entonação da voz humana, então eles não teriam obtido o resultado ideal de qualquer maneira. Mas a rede neural faz um excelente trabalho no que é importante para os pesquisadores, a saber, a determinação precisa de sexo, nacionalidade e idade.
Os autores do trabalho notaram que no momento o algoritmo é fraco na determinação da idade, mas podem melhorar a precisão. Verificou-se também que o algoritmo recria melhor as faces europeias e asiáticas, mas isso só se deve ao fato dos vídeos de treinamento apresentarem um número desigual de faces de diferentes nacionalidades.
Vídeo promocional:
Por que você precisa de uma rede neural?
Como essa tecnologia pode ser útil no futuro? Alternativamente, com a ajuda dele, um dia pode ser criado um serviço onde o avatar virtual de um usuário é criado automaticamente, com base em sua voz. O novo estudo também traz grandes benefícios científicos - ao estudar os dados, os cientistas podem encontrar a relação entre a aparência de uma pessoa e sua voz. Você pode ouvir vozes e ver retratos recriados com base no site do projeto.
Ramis Ganiev
