Netflix detalla la arquitectura de su capa de inteligencia para AI Discover

Fuentes: Netflix details the architecture of its AI Discover intelligence layer

Netflix ha publicado un análisis técnico sobre la arquitectura de su nueva funcionalidad AI Discover, una pestaña en la aplicación de televisión que permite a los usuarios explorar contenido mediante temas interactivos. El artículo, escrito por el equipo de ingeniería de la compañía, explica cómo se ha diseñado una nueva capa de inteligencia para gestionar la orquestación de modelos de lenguaje de gran escala (LLM) y los sistemas de recomendación existentes, sin comprometer la velocidad, la fiabilidad ni la seguridad en el entorno doméstico.

El texto aborda siete desafíos técnicos clave, como la integración de LLMs en un sistema diseñado previamente, la gestión de latencias lentas y la necesidad de mantener las recomendaciones ancladas en el catálogo real de títulos. La solución propuesta se basa en un 'agent harness' que actúa como una capa de inteligencia, dividiéndose en un controlador y un ejecutor. El controlador planifica cada solicitud validando los pasos contra reglas de seguridad y disponibilidad, mientras que el ejecutor opera en paralelo, utilizando capacidades específicas como la recuperación de datos o la generación de texto. Este enfoque permite que el sistema sea componible con los sistemas de recomendación tradicionales de Netflix, que incluyen ranking y búsqueda a gran escala, y permite la orquestación agéntica asíncrona necesaria para la experiencia de usuario en televisión, donde la interacción es limitada y la respuesta debe ser inmediata.