DuoLM: marco para recomendaciones personalizadas rápidas con modelos de lenguaje

Fuentes: DuoLM: Fast and Effective Personalized Recommendation with Language Models

DuoLM es un marco de software diseñado para acelerar la recomendación personalizada mediante la integración de un modelo de lenguaje compacto y un sistema de inferencia optimizado. A diferencia de los enfoques tradicionales que procesan entradas de texto completo, DuoLM utiliza un codificador para generar representaciones compactas de los artículos que se almacenan en caché, permitiendo reutilizar el trabajo de cómputo offline. El sistema combina estas representaciones con el historial de usuario y la retroalimentación mediante un ranker especializado, entrenando ambos modelos de forma end-to-end con supervisión de recomendación y destilación de un modelo maestro de texto completo.

La eficiencia de DuoLM se logra a través de un runtime de servicio que minimiza la sobrecarga de ejecución. Utiliza identificadores de tokens virtuales para el acceso a las representaciones en la GPU, computación compartida de historial dentro de cada solicitud y el uso de CUDA Graphs para reducir el tiempo de ejecución. Los resultados de los benchmarks indican que el marco alcanza una calidad de recomendación comparable a la del modelo maestro experto. En una sola tarjeta gráfica H100, DuoLM logra aproximadamente 26.400 puntuaciones de candidatos por segundo, lo que representa un aumento de 60 veces en el throughput en comparación con el modelo maestro servido con vLLM y caché de prefijos automática. Esta arquitectura permite que las aplicaciones de recomendación mantengan un alto rendimiento sin sacrificar la precisión, resolviendo las limitaciones de cómputo online inherentes al procesamiento de texto completo.