Cognition ha lanzado SWE-1.7, el modelo más avanzado entrenado por la compañía hasta la fecha, que alcanza un rendimiento de frontera a un coste significativamente inferior, según afirma la empresa. El modelo se entrenó a partir de una base Kimi K2.7 y, tras un extenso trabajo de post-entrenamiento con aprendizaje por refuerzo, logra mejoras sustanciales sobre SWE-1.6 en pruebas de referencia como FrontierCode 1.1 Main (42,3% frente a 9,4%), Terminal-Bench 2.1 (81,5% frente a 39,7%) y SWE-Bench Multilingual (77,8% frente a 58,3%).
El desarrollo se apoya en cuatro ejes: preservación de entropía y estabilización del entrenamiento mediante muestreo top-p con repetición de la distribución de muestreo y el optimizador Muon; entrenamiento multi-clúster con cuatro centros de datos en tres continentes y transferencia de deltas de pesos comprimidos para sortear la escasez de clústeres de gran tamaño; una canalización de curación de datos que filtra tareas con poco valor de aprendizaje y dificulta el hackeo de recompensa; y auto-compactación, una técnica que enseña al modelo a resumir su estado de trabajo para prolongar el horizonte de tareas más allá de la ventana de contexto.
Los autores sostienen que los resultados cuestionan la idea de un "techo de post-entrenamiento" y demuestran que el aprendizaje por refuerzo puede ampliar las capacidades mucho más de lo previsto. SWE-1.7 ya está disponible en Devin (web, escritorio y línea de comandos) mediante chips Cerebras a 1.000 tokens por segundo.