A criação de algoritmos para trabalhar com imagens sempre foi uma tarefa bastante difícil, mas promissora. Quando eu ainda estava escrevendo meu projeto de graduação em 1999, o tópico de "reconhecimento de padrões" era muito relevante em sistemas automáticos de controle e gerenciamento.
Isso é o que eles podem fazer hoje. Desenvolvedores indianos apresentaram um sistema que pode criar vídeos curtos a partir de imagens borradas. O algoritmo funciona com base em redes neurais convolucionais e recorrentes e permite que você transforme artefatos de movimento em imagens em vídeos curtos (de até dez quadros).
Mais detalhes …
Ao visualizar uma imagem borrada, uma pessoa pode completar mentalmente uma imagem do que está acontecendo. Por exemplo, ver a fotografia de um pássaro com asas difusas sugere que o borrão da imagem se deve a artefatos no movimento das asas durante a aquisição. Para sistemas de visão por computador, no entanto, essa tarefa é mais difícil e a maioria dos métodos conhecidos visa apenas a remoção de artefatos de movimento e suavização de quadros.
Cientistas do Instituto Indiano de Tecnologia, liderado por AN Rajagopalan, sugeriram que uma única imagem borrada poderia ser usada para criar um vídeo curto inteiro: isto é, restaurar o movimento original de seus artefatos na imagem. Para isso, eles desenvolveram um algoritmo baseado em redes neurais convolucionais, que são ativamente usadas para tarefas relacionadas ao reconhecimento automático de imagens, bem como redes neurais recorrentes.
O modelo é treinado em um grande número de vídeos, que são divididos em quadros. Depois disso, a rede neural procura por esse quadro, os artefatos que mais se aproximam dos artefatos do quadro de amostra de treinamento. Depois disso, o decodificador "restaura" os artefatos de quadro de amostra de treinamento em movimento capturado em vídeo. Assim, o modelo armazena dados sobre possíveis movimentos recuperados de cada quadro desfocado disponível na amostra de treinamento.
Vídeo promocional:
Como resultado do trabalho, a rede neural produz um vídeo, reconstruído a partir da imagem borrada, composto por dez quadros. O algoritmo desenvolvido, segundo os criadores, poderá ajudar no futuro a melhorar não só a restauração de imagens borradas, mas também os próprios vídeos.
A remoção de artefatos de movimento em quadros individuais também pode melhorar o streaming de vídeo. Até agora, para este fim, são utilizados principalmente algoritmos para adaptar a taxa de bits em função da velocidade do vídeo e seu buffering.
Elizaveta Ivtushok
