A nova tecnologia de upscaling da Adobe usa inteligência artificial para melhorar a resolução de vídeo

A maioria dos novos recursos e experiências anunciados recentemente pela Adobe envolvem IA, como adicionar e remover objetos no Premiere Pro e criar imagens baseadas em texto no Photoshop. E agora a empresa revelou VídeoGygaganum recurso experimental de IA que afirma ser capaz de aprimorar o vídeo oito vezes sem os efeitos usuais, como oscilação ou distorção. A beira mencionado.

VideoGigaGAN supera outros métodos de super-resolução de vídeo (VSR) porque evita os artefatos usuais e oscilações oferecidas por GANs (redes adversárias gerais), de acordo com a Adobe. Ao mesmo tempo, acrescenta clareza e detalhes – onde a maioria dos outros sistemas não consegue fazer as duas coisas ao mesmo tempo.

Claro, o sistema cria detalhes inexistentes do nada, então isso não seria adequado para coisas como aprimoramento de vídeo forense, Por exemplo Programas policiais no estilo CSI. Mas os detalhes acrescentados parecem impressionantemente reais, como a textura da pele e do cabelo macio, Detalhe de pena de cisne E mais.

O modelo é baseado em um amplificador de imagem em grande escala chamado GigaGAN, segundo pesquisadores da Adobe. Os modelos VSR anteriores tinham dificuldade em gerar detalhes ricos nos resultados, então a Adobe casou “atenção temporal” (reduzindo artefatos que se acumulam ao longo do tempo), difusão de recursos (adicionando detalhes onde não estão), anti-aliasing e o chamado “lançamento HF ” (recursos de alta frequência) para criar o resultado final.

Se adicionado a produtos como Premiere Pro ou After Effects, poderia permitir que os produtores de vídeo fizessem imagens de baixa resolução parecerem muito melhores, embora usar IA para aprimorar as pessoas seja uma prática controversa. Ainda não se sabe se a Adobe planeja fazer isso (atualmente, os clipes são curtos e reproduzem apenas a 12 quadros por segundo), mas muitas empresas, incluindo NVIDIA, Microsoft, Blackmagic Design e outras, também estão trabalhando na tecnologia de upscaling de IA.