Netflix Apresenta VOID: Estrutura de Código Aberto para Remoção de Objetos de Vídeo Consistente com a Física

Em Breve

A Netflix lançou o VOID, uma estrutura de IA de código aberto que remove objetos de vídeo preservando interações físicas realistas, oferecendo uma alternativa mais avançada às ferramentas tradicionais de inpainting para produção profissional de vídeo.

A plataforma global de streaming Netflix introduziu o VOID, uma framework de código aberto concebida para remover objetos do vídeo preservando as interações físicas que eles criam, abordando limitações observadas em ferramentas tradicionais de inpainting e de eliminação de objetos.

Historicamente, remover um objeto de uma cena tem sido uma tarefa simples, mas garantir que o ambiente se comporte de forma realista depois tem colocado desafios significativos. Por exemplo, ao apagar uma pessoa que está a segurar uma guitarra, o instrumento fica suspenso de forma pouco natural, e ao remover um mergulhador de uma piscina, a água pode ficar sem se mexer. As equipas de efeitos visuais têm, tradicionalmente, corrigido estes problemas manualmente, um processo demorado que pode ir de dias a semanas para uma única cena.

O VOID, sigla de Video Object and Interaction Deletion, pretende resolver estas complicações. Ao contrário de métodos convencionais que apenas preenchem pixéis em falta, o sistema prevê resultados fisicamente consistentes para a cena assim que o objeto é removido

Recurso a uma combinação de tecnologias para o conseguir. O Gemini da Google analisa a cena para identificar as áreas que serão afetadas pela eliminação, enquanto o SAM2 da Meta segmenta os objetos a remover. Estas saídas são codificadas num quadmask, um mapa de quatro valores que indica que áreas apagar, quais sobrepõem, quais são afetadas fisicamente e quais permanecem intocadas. Um modelo de difusão de vídeo construído sobre o CogVideoX da Alibaba reconstrói a cena de forma fisicamente plausível. Uma segunda passagem opcional aplica optical flow para corrigir quaisquer distorções da reconstrução inicial.

Demonstração de Remoção de Objetos Fisicamente Consistente na Produção de Vídeo

As demonstrações do VOID mostram resultados convincentes: balões sobem de forma natural quando o suporte é removido, blocos mantêm a estabilidade quando blocos não relacionados são eliminados e as superfícies da piscina permanecem inalteradas após uma pessoa ser apagada. Num estudo de preferências humanas com 25 participantes, o VOID foi preferido 64,8 por cento das vezes, superando a Runway, uma alternativa comercial de referência, que atingiu apenas 18,4 por cento.

Este lançamento marca a primeira ferramenta de IA disponibilizada publicamente pela Netflix Research. Licenciado ao abrigo da Apache 2.0, o VOID pode ser usado comercialmente e está alojado no Hugging Face. Os requisitos de hardware limitam atualmente o acesso, sendo necessária uma GPU de 40GB VRAM para executar o modelo, mas otimizações futuras e a redução dos custos de infraestrutura podem alargar a disponibilidade. O VOID representa uma mudança na tecnologia de produção de vídeo, passando de ferramentas simples de eliminação para sistemas capazes de compreender e reconstruir cenas de forma realista — um desenvolvimento com implicações significativas para fluxos de trabalho profissionais.