Este taller, impartido el 12 de agosto por Tim Kim en la plataforma de IA de DigitalOcean, muestra paso a paso cómo construir un asistente de atención al cliente llamado HelpBot partiendo de un problema habitual: los modelos de lenguaje sin contexto adicional responden con fluidez, pero a menudo inventan datos. El tutorial está dirigido a desarrolladores que ya hayan utilizado alguna API de LLM y no requiere experiencia avanzada en IA.
El recorrido se organiza en cinco módulos. El primero enseña a realizar una llamada autenticada al endpoint serverless inference.do-ai.run, compatible con la API de OpenAI, usando el modelo llama3.3-70b-instruct. El segundo crea una base de conocimiento que indexa documentos en un índice OpenSearch gestionado, configura el chunking y los embeddings, y permite validar la recuperación en el RAG Playground antes de conectarla al asistente. El tercero sustituye el modelo fijo por un router que distribuye cada consulta entre un pool de hasta tres modelos con una política de selección y admite afinidad de sesión para reducir costes de tokens de entrada entre un 45 % y un 80 %.
El cuarto módulo añade tres guardrails integrados al agente: filtros de jailbreak, detección de datos personales y bloqueo de temas sensibles, con categorías personalizables. Por último, el quinto expone el agente terminado como punto de conexión propio, distinto del endpoint de inferencia crudo. Todo el flujo corre sobre la sección Inference de DigitalOcean, que combina serverless inference, router, knowledge bases, guardrails y evaluations en una única consola.