Un problema frustrante ha sido identificado en la experiencia de usuario de chatbots como Claude: la interrupción de la transmisión de respuestas al refrescar la página. El artículo explica que, a pesar de los avances en los modelos de lenguaje, la infraestructura que los soporta se ha quedado atrás. Claude utiliza Server-Sent Events (SSE) para transmitir tokens, pero un simple refresco de la página interrumpe esta conexión, perdiendo el progreso de la respuesta. La solución actual, utilizada por muchos, implica almacenar cada token en una base de datos (como Redis) y crear un 'endpoint' para reanudar la transmisión tras la desconexión. Sin embargo, un ejemplo de una interfaz de chat minimalista utiliza WebSockets y Pub/Sub (a través de Ably) para lograr una experiencia de refresco de página sin interrupciones, sin necesidad de una base de datos. El autor argumenta que SSE ha alcanzado sus límites y propone una nueva 'transport' para IA basada en Pub/Sub, que ofrece características como manejo de reconexiones, soporte para múltiples dispositivos y usuarios, y una experiencia de usuario más fluida y eficiente. La clave está en evolucionar la infraestructura para acompañar el rápido avance de los modelos de IA.
Noticias agregadas con IA