La empresa Manifest ha detallado los motivos que la llevaron a desactivar en junio y cerrar definitivamente el 1 de septiembre su enrutador de modelos de lenguaje, una función que había lanzado en marzo dentro de su pasarela LLM. El sistema clasificaba cada petición en cuatro niveles de complejidad (simple, estándar, complejo y razonamiento) y dirigía la consulta al modelo más económico capaz de resolverla. Tras cuatro meses de uso con 7.000 clientes en la nube, el equipo considera que la práctica no aporta los beneficios esperados.
El artículo señala varios problemas. Primero, la complejidad de una tarea no se deduce solo del prompt: el contexto real aparece más tarde, tras llamadas a herramientas o búsquedas web. Segundo, el caché de prefijos abarata entre un 75% y un 90% las lecturas, por lo que mantener la afinidad con el modelo inicial suele ser más rentable que reasignar. Tercero, saltar de un modelo a otro dentro de una misma sesión reduce la coherencia del resultado y distancia al ingeniero de su herramienta. Por último, en flujos agenticos la imprevisibilidad añade capas de complejidad en evaluaciones, prompts y observabilidad que terminan costando más que el ahorro en inferencia.
Manifest reconoce que pueden existir casos válidos para enrutar, pero concluye que, en la mayoría de los escenarios observados, el ahorro se paga en otros capítulos del desarrollo y resulta difícil de estimar. La compañía recomienda asignar manualmente a cada tarea el modelo, los parámetros y el prompt más adecuados en lugar de delegar esa decisión en un sistema automático.