Cuándo usar modelos de decisión frente a LLMs en PostHog

Fuentes: When to use decision models instead of LLMs at PostHog

PostHog ha implementado modelos de decisión para optimizar sus flujos de trabajo de inteligencia artificial, aprovechando su menor coste y velocidad frente a los modelos de lenguaje grandes (LLMs). Estos modelos, como Jev, proporcionan respuestas estructuradas con probabilidades de calibración, permitiendo identificar con precisión cuándo es necesario recurrir a un LLM más costoso. En la plataforma Replay Vision, se utilizan para filtrar información personal antes de procesarla con Gemini, logrando que el 98,7% de las sesiones salte la llamada al LLM al detectar que no contienen datos sensibles. En el bot de Slack, actúan como enrutadores que seleccionan el modelo más económico capaz de resolver una tarea específica, ajustando los umbrales de confianza según el coste de los errores. Además, se emplean para verificar resultados de búsqueda por embebidos, mejorando la calidad de la clasificación en un 25% en pruebas. Sin embargo, los equipos técnicos advierten que estos modelos no deben usarse para razonamiento multietapa ni para tareas que requieran contexto complejo, funciones reservadas para los LLMs. La clave del éxito radica en definir umbrales de decisión específicos para cada tarea y modelo, evitando la suposición de que las puntuaciones son transferibles entre diferentes versiones o proveedores.