Com o desenvolvimento de redes neurais e tecnologias de aprendizado de máquina, o escopo de sua aplicação também está se expandindo. Se as redes neurais anteriores eram usadas exclusivamente para realizar previsões e cálculos matemáticos, médicos, físicos e biológicos complexos, agora essas tecnologias estão ganhando grande popularidade em um ambiente mais "mundano" - no campo do entretenimento. Dando apenas os primeiros passos nessa direção, eles já são capazes de demonstrar resultados surpreendentes e às vezes até excelentes. Hoje vamos analisar alguns exemplos ilustrativos.
O processo de remasterização do vídeo é tão complicado e demorado que talvez nunca tenhamos visto muitas obras-primas dos clássicos mundiais com uma imagem nova, moderna, clara e suculenta. No entanto, o mundo está cheio de fãs e entusiastas espertos que são bem versados em novas tecnologias e, em particular, redes neurais e tecnologias de aprendizado de máquina, com as quais você pode alcançar resultados surpreendentes mesmo em casa. Por exemplo, o usuário do YouTube Stefan Rumen com o pseudônimo CaptRobau decidiu demonstrar algumas das capacidades das redes neurais no processamento de vídeos de uma antiga série de ficção científica.
Seu trabalho anterior é Remako Mod, um "remake em HD" do clássico e muito popular RPG japonês Final Fantasy VII. Para fazer isso, ele usou o algoritmo AI AI Gigapixel, com a ajuda do qual ele foi capaz de dimensionar a imagem da imagem original em 4 vezes, convertendo-a para resolução HD sem quaisquer alterações significativas no design da arte original. Assim, enquanto você espera por mais uma década até o momento em que o desenvolvedor e editor japonês de jogos de computador Square Enix oficialmente lança uma remasterização de talvez uma das melhores partes desta série de jogos, você pode experimentar o mod de Stefan Rumen baixando-o deste site.
A propósito, recentemente a tecnologia de redes neurais para remasterizar jogos antigos e trazê-los para uma aparência mais relevante e moderna sem alterar o conceito original geral se tornou uma tendência real entre vários modders. Por exemplo, não há muito tempo falamos sobre a tecnologia ESRGAN (Enhanced Super Resolution Generative Adversarial Networks), que implementa tecnologias de dimensionamento de imagem com um aumento de 2 a 8 vezes na qualidade. O algoritmo alimenta a imagem original com uma resolução baixa, após o que não só aumenta a resolução original desta, mas também melhora a qualidade da imagem, pintando em detalhes realistas e tornando as texturas “mais naturais”.
Comparação da qualidade da textura: à esquerda está a textura original do jogo Morrowind, à direita - processada pela rede neural.
Um personagem de Doom (left - was, right - tornou-se).
Processamento em segundo plano em Resident Evil 3.
Vídeo promocional:
Seja como for, nos intervalos entre a remasterização de "The Seventh Final" Stefan Rumen decidiu assumir outro projeto - usar a mesma tecnologia de aprendizado de máquina, mas desta vez para processar os frames da clássica série de ficção científica dos anos 90. Rumen escolheu Star Trek: Deep Space Nine como o objeto de seus experimentos.
Dimensionar uma imagem ao vivo de uma série de TV é muito diferente em complexidade de dimensionar uma imagem pré-renderizada de Final Fantasy VII, o autor observa, então o resultado final, embora pareça visivelmente melhor do que os materiais originais em baixa resolução, esta imagem ainda está longe do ideal sobre o qual você poderia ter sonhado desde que os primeiros players de Blu-ray chegaram ao mercado. Ocasionalmente, pequenos "artefatos" aparecem na tela. Mas, novamente, em geral, tudo parece mais do que digno. Mas, em geral, veja por si mesmo.
Para este projeto, Rumen também usou o algoritmo AI Gigapixel, que foi treinado para editar imagens com base em fotografias reais. O autor observa que a nova imagem foi obtida em 1080p e 4k, mas como Rumen não possui TV ou monitor com resolução nativa de 4K, não consegue avaliar adequadamente a versão 4K.
Infelizmente, você não pode assistir a série inteira em qualidade Full HD. O processo de processamento de todo o material de origem teria levado muito tempo, então Rumen usou apenas quadros separados de diferentes séries para a demonstração. Segundo ele, ele assumiu esse projeto por um único motivo - mostrar que é realmente possível. Em sua opinião, toda uma equipe de profissionais que trabalha em uma grande emissora de televisão e que tem à sua disposição equipamentos de informática mais adequados e potentes para esse trabalho poderá dar conta dessa tarefa muito melhor.
O uso de redes neurais para simplificar o trabalho de processamento de imagens antigas de videogames e filmes não é a única área em que essas tecnologias podem mostrar seus talentos. No mundo moderno, onde câmeras panorâmicas capazes de produzir 360 graus, bem como fones de ouvido de realidade virtual, estão ganhando popularidade, os desenvolvedores começaram a explorar ativamente o potencial da fotografia panorâmica.
Um dos mais recentes desenvolvimentos nessa direção é uma rede neural capaz de emitir imagens panorâmicas estáticas. É de autoria de especialistas em aprendizado de máquina das Universidades de Massachusetts, Universidade de Columbia e Universidade George Mason.
O algoritmo criado determina o tipo de ambiente e objetos na fotografia e, a seguir, seleciona e organiza os sons do banco de dados usado de acordo com o cálculo espacial da distância às suas fontes nesta imagem. Graças a isso, a imagem panorâmica adquire um som realista e amplo que permite avaliar a imagem apresentada de uma forma totalmente nova.
Segundo os desenvolvedores dessa rede neural, a tecnologia pode despertar o interesse de desenvolvedores de conteúdo de RV (filmes e jogos). Nesse caso, o último não precisa sobrepor manualmente todos os sons na imagem panorâmica, a rede neural será capaz de fazer tudo sozinha.
Nikolay Khizhnyak
