Ricursive Intelligence ha presentado Ripple-65B Preview, un modelo de lenguaje de gran escala (LLM) de pesos abiertos que establece un nuevo récord de estado del arte (SOTA) en el código agéntico en Estados Unidos. Este lanzamiento marca un hito significativo en la industria de la inteligencia artificial, no solo por su rendimiento técnico, sino por su eficiencia económica radical. Según la compañía, el coste total de investigación y desarrollo (I+D) para entrenar este modelo desde cero fue de 32 millones de dólares, una décima parte del coste estimado para los modelos de frontera de pesos abiertos, que históricamente han superado los 100 millones o incluso los 1.000 millones de dólares en sus fases de preentrenamiento.
El modelo Ripple-65B Preview fue preentrenado con 12 billones de tokens y soporta un contexto de hasta un millón de tokens. En pruebas de agentic coding, utilizando la plataforma TerminalBench 2.1, el modelo alcanzó una puntuación de 80,52. Este resultado supera significativamente a otros modelos de pesos abiertos de gran tamaño, como Reflection Beam 501B (80,1), Meta Muse Spark Open 816B (76,4), Thinking Machines Inkling 975B (63,8) y NVIDIA Nemotron 3 Ultra 550B (56,4). La arquitectura densa del modelo, diseñada para optimizar la generación de tokens con baja latencia, permite su ejecución eficiente en dispositivos locales como NVIDIA DGX Spark, que ofrecen alta densidad de FLOPs con una banda de memoria relativamente baja en comparación con los aceleradores de centros de datos.
La estrategia de Ricursive se distingue por su enfoque en la eficiencia de cómputo y la co-optimización de hardware, software y modelo. En lugar de invertir en un entrenamiento de fuerza bruta, la empresa iteró cuidadosamente sobre sus recetas de preentrenamiento (SFT) y refuerzo (RL), utilizando datos sintéticos de alta calidad y sin depender de datos de postentrenamiento externos. Su método de RL, basado en muestreo de importancia truncado y penalizaciones de longitud lineal, logró alcanzar la puntuación de 80,5 con solo 1,4 millones de simulaciones, aproximadamente 70 veces menos que el modelo anterior SOTA, Reflection Beam.
En cuanto a la arquitectura, Ripple-65B Preview optó por un modelo Transformer denso modernoizado en lugar de una arquitectura de expertos en mezcla (MoE), una decisión que facilitó el entrenamiento desde cero manteniendo un MFU (Model Frame Utilization) del 40% durante todo el proceso. El modelo cuenta con una relación de aspecto delgada y profunda, con un d_model de 5120 y 80 capas. Para mejorar el razonamiento, se ajustó la proporción de cabezales de atención y se implementaron técnicas como el recorte de activaciones FFN, atención con puertas (gated attention) y residuales de valor. Además, la optimización del proceso de preentrenamiento mediante 'model laddering' permitió mejorar la eficiencia de cómputo en código hasta en 16 veces en comparación con la línea base de Olmo 3, logrando un rendimiento similar con una fracción del coste.
El modelo está disponible en múltiples plataformas, incluyendo Hugging Face, Together AI, GMI Cloud, OpenRouter y Fireworks. Ricursive Intelligence afirma que este desarrollo cierra el bucle entre los modelos y el hardware que los impulsa, un objetivo central de su laboratorio de IA de pila completa. La empresa destaca que su éxito se apoya en un ecosistema de código abierto robusto, construyendo sobre contribuciones existentes de laboratorios como el Allen Institute for AI, Prime Intellect, RadixArk y NVIDIA. Con un enfoque selectivo en la contratación de investigadores y ingenieros excepcionales, Ricursive busca empujar los límites de la IA de pila completa, desde el modelo hasta el silicio, posicionándose como un competidor clave en la carrera por la eficiencia y el rendimiento en la inteligencia artificial de frontera.