As equipes de pesquisa costumam fazer experiências com conteúdo de vídeo usando redes neurais. Veja a NVIDIA, por exemplo, que no final de 2017 treinou uma rede neural para mudar o clima e a hora do dia em vídeo. Outro projeto desse tipo foi lançado por pesquisadores da Carnegie Melon University, que criaram uma rede neural para impor as expressões faciais de uma pessoa no rosto de outra.
O projeto é baseado na tecnologia DeepFakes para mudar faces em vídeo. Baseia-se em uma forma adversa generativa de aprendizado de máquina. Em seu arcabouço, o modelo generativo tenta enganar o discriminatório e vice-versa, a partir do qual o sistema entende como o conteúdo pode ser transformado em um estilo diferente.
O algoritmo Cycle-GAN para transferir propriedades para outro objeto não é ideal e permite artefatos na imagem. Para melhorar a qualidade da rede neural, os pesquisadores usaram sua versão aprimorada do Recycle-GAN. Ele leva em consideração não apenas a posição de diferentes partes do rosto, mas também a velocidade de seus movimentos.
A rede neural transferiu com sucesso as expressões faciais do apresentador de TV Stephen Colbert para o rosto do comediante John Oliver. Além disso, ela transferiu o processo de floração do narciso para o hibisco.
Os pesquisadores acreditam que a tecnologia pode ser usada na cinematografia. Isso irá acelerar o processo e reduzir o custo de fazer filmes. A capacidade das redes neurais de alterar o clima em vídeo tornará mais fácil ensinar os carros elétricos a dirigir em diferentes condições climáticas.
Ramis Ganiev
Vídeo promocional:
