La técnica 'Bag of Decisions' propone reinterpretar las consultas de búsqueda no como un 'bolsillo de términos', sino como un 'bolsillo de decisiones'. Este enfoque utiliza un modelo de lenguaje grande (LLM) para generar una serie de preguntas específicas que evalúan la relevancia de un documento para una consulta concreta, en lugar de depender únicamente de la coincidencia de palabras clave.
El proceso funciona mediante la creación de una rúbrica de preguntas donde cada interrogante tiene una probabilidad de respuesta 'sí' o 'no'. Por ejemplo, para una consulta sobre escritorios para niños, el sistema genera preguntas sobre dimensiones, ergonometría, marcas y disponibilidad. La puntuación final de relevancia se calcula sumando las probabilidades de las respuestas afirmativas de todas las preguntas generadas. Esta métrica se puede integrar con algoritmos de recuperación clásicos como BM25 o usarse de forma independiente para mejorar la precisión de los resultados.
Un experimento comparativo realizado con los conjuntos de datos Wayfair WANDS y Amazon ESCI demostró la eficacia de este método. En el dataset WANDS, la técnica 'bag_of_decisions' alcanzó un NDCG medio de 0.610, superando al rerank estándar de Jev (0.574) y al BM25 (0.5407). En el dataset ESCI, los resultados fueron 0.360 frente a 0.314 para Jev y 0.289 para BM25. Estos resultados indican que la generación de preguntas dinámicas por consulta permite una evaluación más precisa de la relevancia semántica, ofreciendo una alternativa prometedora para la ingeniería de búsqueda moderna.