ZooWork-ShopRanker es una familia de modelos de rerankers para comercio electrónico, diseñada para mejorar la relevancia de resultados en búsquedas de productos. A diferencia de los rerankers generales, estos modelos están alineados específicamente con las preferencias de compra, considerando restricciones de producto y la comparación entre opciones. El proyecto presenta tres variantes de tamaño: 0.6B, 4B y 8B parámetros, con el modelo de 8B actuando como maestro de destilación para las versiones más ligeras.
El desafío principal en el entrenamiento de estos modelos es la falta de etiquetas de pares limpias en el tráfico de búsqueda real. Para resolverlo, los autores utilizan un panel de modelos de lenguaje grandes (LLM) de diferentes familias como oráculo de preferencias. Estos LLMs etiquetan los pares de entrenamiento con juicios desincentivados por la posición y con niveles de acuerdo, lo que permite a los rerankers aprender a juzgar la idoneidad de los productos basándose en la experiencia del usuario.
Para evaluar el progreso, se ha introducido ShopRank-Bench, un benchmark de aproximadamente 10.000 pares de preferencias de tráfico privado, disponible en dos formatos de texto. Los resultados indican que ZooWork-ShopRanker-8B y -4B superan significativamente a la línea base de rerankers abiertos más fuertes, y todos los modelos superan a sus bases no alineadas. Además, el modelo de 0.6B supera a sus pares de tamaño, manteniendo las ganancias en ambos formatos y extendiéndose a benchmarks comunes MTEB. Los modelos y el benchmark se han liberado para facilitar la investigación futura en el área de la recuperación de información comercial.