Kapa.ai, empresa que construye asistentes de IA sobre grandes bases de conocimiento técnico, ha incorporado un paso intermedio entre el recuperador y el generador de sus sistemas RAG: un modelo de lenguaje pequeño y económico que analiza la pregunta junto con todos los fragmentos recuperados y descarta los innecesarios antes de que el modelo grande los vea. La poda elimina alrededor del 68% del contexto y conserva aproximadamente el 96% de la recuperación, lo que reduce el coste de cada consulta en un tercio, descontado el gasto del propio podador.
Los autores explican por qué las soluciones evidentes no funcionan. Recortar los fragmentos peor clasificados por el reranker falla porque sus puntuaciones son ordinales y no están calibradas entre consultas, y porque la relevancia no es una propiedad del fragmento aislado: un trozo puede ser inútil por sí solo pero indispensable junto a otro. También probaron documentos ancla, descritos por Sinhababu et al., y comprobaron que, aunque anclan la escala, no corrigen las puntuaciones del reranker.
El sistema que finalmente desplegaron es una única llamada listwise al LLM, que asigna a cada fragmento una escala de cinco niveles (esencial, contributivo, de apoyo, tangencial o no relacionado) definida en palabras para que un umbral fijo sea interpretable. Como el modelo ve la pregunta y todos los fragmentos a la vez, puede juzgar el conjunto y dar cabida a la relevancia parcial e indirecta. Tres parámetros controlan el equilibrio: el modelo y su esfuerzo de razonamiento, el umbral de la escala y un mínimo de fragmentos que pasan siempre.
Frente al corte ingenuo por posición, todas las estrategias basadas en LLM mantienen más del 30% de compresión al 98% de recuperación, y la basada en puntuación se impone en todos los niveles. Kapa eligió un punto agresivo, con 96% de recuerdo y 68% de fragmentos descartados, lo que abarata las consultas y libera contexto para el resto de la conversación del agente.