spinf-serve: clasificación masiva en una GPU con API compatible OpenAI

Fuentes: spinf-serve: bulk classification on one GPU with OpenAI-compatible API

spinf-serve es un motor de inferencia diseñado para ejecutar clasificación masiva y toma de decisiones en una única GPU, optimizando el procesamiento de contenido al leerlo una sola vez para responder múltiples preguntas simultáneamente. A diferencia de los servidores de chat tradicionales, que relee el texto para cada solicitud, esta herramienta permite procesar decenas de consultas en una sola pasada, reduciendo drásticamente el coste y el tiempo de respuesta. El sistema, disponible bajo licencia Apache 2.0, ofrece una API compatible con OpenAI que devuelve probabilidades sobre opciones predefinidas en lugar de texto generado, lo que facilita la calibración de decisiones basadas en umbrales personalizados.

El proyecto, desarrollado inicialmente para el análisis diario de índices de mercado, soporta modelos como Gemma 4 12B y 31B en formato FP8, requiriendo GPUs NVIDIA de 24 GB (como RTX 4090 o H100) con soporte para CUDA 13. En pruebas comparativas, spinf-serve alcanza una velocidad de 491 preguntas por segundo en una RTX 4090, superando ampliamente a vLLM, que procesa 200 preguntas por segundo bajo condiciones similares. La herramienta incluye conjuntos de prompts precalibrados para tareas como moderación de contenido o triaje de tickets, y permite la extracción de datos estructurados junto con la puntuación. Está diseñado para alto rendimiento y throughput, no para baja latencia en solicitudes individuales, y soporta también el procesamiento de imágenes, audio y video mediante los modelos compatibles.