Un artículo de zknill.io explora los desafíos de implementar características avanzadas en chatbots basados en modelos de lenguaje grandes (LLM) utilizando Eventos Enviados por el Servidor (SSE). Aunque SSE es una opción viable para funcionalidades como streams reanudables (permitiendo retomar una conversación después de una interrupción), cancelaciones de respuestas y soporte multi-dispositivo, el autor argumenta que su implementación es más compleja de lo que se suele creer. El principal problema radica en la necesidad de almacenar cada token generado por el LLM en una base de datos para permitir la reanudación de la transmisión, lo que genera una sobrecarga significativa en las escrituras a la base de datos y una ineficiencia en el uso de recursos. Además, la implementación de cancelaciones y soporte multi-dispositivo introduce complicaciones adicionales, requiriendo soluciones como endpoints de cancelación y mecanismos para notificar a los dispositivos sobre nuevas interacciones. El artículo concluye que, si bien SSE es funcional, HTTP no es el protocolo ideal para estas aplicaciones y sugiere la necesidad de un transporte dedicado para aplicaciones de IA que soporte mejor el streaming de tokens y la naturaleza asíncrona de los agentes.
Noticias agregadas con IA