La generación de video está evolucionando desde la síntesis end-to-end hacia un enfoque agéntico, donde la planificación, el uso de herramientas y el feedback permiten la creación de videos coherentes y controlables. Paralelamente, los modelos de mundo de video proporcionan observaciones condicionadas a la acción y predicciones futuras, sirviendo como entornos interactivos para agentes. Este informe examina la intersección de estas áreas a través del 'agent harness', un tiempo de ejecución ejecutable que construye contexto, expone herramientas, mantiene el estado, enruta el feedback y gestiona presupuestos alrededor de los modelos de video.
El análisis se centra en tres direcciones principales. Primero, la generación de video agéntica, donde los harnesses coordinan la escritura de guiones, la planificación de tomas, la gestión de activos, la producción y la edición, junto con los desafíos de evaluación de estos sistemas. Segundo, el modelado de mundo agéntico, donde los harnesses median la observación, el control, la ejecución y el estado. Se discuten diseños híbridos en los que los motores de videojuegos o programas escritos por agentes mantienen el estado del mundo mientras los modelos de video renderizan las observaciones, y cómo los agentes y los modelos de mundo pueden evaluarse mutuamente para mejorar uno al otro.
Tercero, la mejora recursiva (RSI) en el desarrollo de modelos de video, distinguiendo entre revisiones de salida, actualizaciones del estado del harness, parámetros del generador y evaluadores, y cambios en el propio procedimiento de mejora. Se identifica cómo estas mejoras se retroalimentan en el desarrollo posterior. A través de estas direcciones, se analizan las capacidades esenciales de los agentes, incluyendo la percepción audiovisual, la planificación de largo alcance, la memoria, la interacción basada en código, el control guiado por feedback, la reutilización de habilidades y la coordinación multiagente. El informe concluye con los desafíos en la producción de video autónoma, la memoria a lo largo de la vida, el control híbrido programable, el desarrollo autónomo de modelos, la trazabilidad, la contabilidad de costos y la evaluación que vincula la calidad del video y el rendimiento de la tarea con mejoras sostenidas en los modelos y los harness.
