NVIDIA ha presentado Kumo Tabular, un modelo de lenguaje de fundación abierto para la predicción de datos tabulares, disponible en Hugging Face. Este sistema permite predecir etiquetas o valores numéricos en nuevas filas de una tabla mediante una única pasada de inferencia, sin necesidad de entrenamiento adicional, ajuste de hiperparámetros ni ingeniería de características. El modelo, que opera tanto para clasificación como para regresión, fue preentrenado exclusivamente con datos artificiales generados mediante modelos de causalidad estructural (SCM) y se distribuye en tres tamaños, desde 28 millones hasta 215 millones de parámetros, bajo la licencia OpenMDW-1.1 para uso comercial.
Kumo Tabular supera a los árboles de decisión de gradiente, la tecnología dominante en el sector durante dos décadas, al eliminar el ciclo de vida tradicional de desarrollo de modelos. A diferencia de los grandes modelos de lenguaje, que requieren reentrenamiento para cada nueva tarea, este modelo utiliza el aprendizaje en contexto (in-context learning) para resolver problemas nuevos con ejemplos proporcionados en el prompt. Técnicamente, el modelo emplea una arquitectura Transformer que optimiza la atención columnar y de fila, utilizando características de Fourier para valores numéricos y categóricos, y embeddings de fila para capturar interacciones entre características. Además, implementa una temperatura de atención consciente de la longitud para mantener la precisión en tablas de gran escala. El modelo ha logrado el primer puesto en cuatro benchmarks de rendimiento: TabArena, BeyondArena, TALENT y ScoringBench, posicionándose como una herramienta eficiente para tareas empresariales como la predicción de churn, demanda o precios.