Netflix usa IA para borrar objetos de sus videos

Netflix ha lanzado VOID, un nuevo modelo de inteligencia artificial diseñado para eliminar objetos de videos de manera avanzada. VOID no solo elimina el objeto, sino también sus interacciones físicas con la escena, como objetos que caen al retirar a una persona. El modelo se basa en CogVideoX y utiliza dos transformadores para lograr una mayor consistencia temporal en el video resultante. Para funcionar, VOID requiere una GPU potente (40GB+ VRAM) y un proceso de configuración que involucra la instalación de varias herramientas y la descarga de modelos desde Hugging Face. El proceso de eliminación de objetos se realiza en dos etapas: generación de máscaras (utilizando SAM2 y el API de Google Gemini para razonar sobre las interacciones) e inferencia (con dos 'pasos' para mejorar la calidad). Netflix ha proporcionado ejemplos y documentación detallada, incluyendo un notebook para facilitar la prueba del modelo y scripts para la generación de máscaras y la inferencia. El objetivo de VOID es permitir la edición de video de manera más fluida y realista, eliminando objetos de forma convincente y manteniendo la coherencia visual de la escena.