Los LLM desafían la arquitectura en la nube: el cómputo ahora tiene estado

Fuentes: Llms challenge cloud architecture assumptions
Los LLM desafían la arquitectura en la nube: el cómputo ahora tiene estado
Imagen generada con IA

La arquitectura 'nativa de la nube' desarrollada en la última década se basa en una premisa de veinte años: el estado reside en la base de datos y el cómputo es sin estado. Sin embargo, los LLM y los agentes de IA están desafiando silenciosamente esta suposición de tres formas sutiles: trabajo de larga duración (procesos de más de diez minutos), cómputo con estado (memoria del agente) e interacción bidireccional (el usuario desea observar y redirigir al agente). La ejecución duradera (temporal, Inngest, Restate) resuelve parte del problema pero no aborda la interacción. El artículo propone que los canales de publicar/suscribir podrían ser la solución, actuando como una primitiva de enrutamiento que falta y que permite desconectar y reconectar sin perder datos. Los LLM hacen visibles las limitaciones de la arquitectura actual: al ser no deterministas y costosos, los reintentos resultan más difíciles. La arquitectura HTTP más servidor sin estado más balanceador de carga más base de datos no es óptima para aplicaciones basadas en agentes que requieren procesos largos, con estado e interactivos.