Clasificar consultas o productos con grandes modelos de lenguaje se ha vuelto una tarea rutinaria, pero presenta un problema práctico: obligar al modelo a ceñirse a un vocabulario cerrado de marcas, colores o categorías con cientos de opciones encarece la llamada y choca con los límites de tamaño de los prompts estructurados. El ejemplo que propone el autor es la conocida taxonomía de Wayfair (WANDS): ante la consulta "wood coffee table", el sistema debe elegir entre rutas como "Furniture / Living Room Furniture / Coffee Tables & End Tables / Coffee Tables" o decenas de categorías distintas.
La solución habitual, definida en Pydantic con un Literal que enumera todas las rutas de la taxonomía, funciona pero resulta costosa a escala y está limitada por el tamaño máximo de contexto que el proveedor admite para salidas estructuradas. El autor propone un patrón alternativo: en lugar de enviar la lista cerrada al modelo, se pide a un LLM pequeño y barato que invente clasificaciones plausibles —es decir, que alucine— y luego se resuelvan esas rutas inventadas contra la taxonomía real.
El flujo concreto consiste en calcular embeddings MiniLM de todas las rutas reales de Wayfair, almacenar ese vocabulario en memoria, generar una ruta ficticia con el LLM barato, embedding de la ruta inventada, y por último un producto escalar contra las rutas reales para recuperar la más similar. Según el autor, el método permite ahorrar costes, usar modelos más pequeños y eliminar la necesidad de enviar el esquema completo en cada llamada. Comparte un notebook en Colab y una utilidad en su repositorio cheat-at-search para reproducir el experimento.