La empresa Sophontic ha anunciado un prototipo de modelo de inteligencia artificial que, según sus creadores, alcanza un rendimiento en tareas de razonamiento superior al de modelos hasta 60 veces más grandes. La compañía rechaza el paradigma actual basado en escalar el tamaño y apuesta por cultivar "densidad geométrica" en el sustrato del modelo mediante métodos pioneros de entrenamiento de la geometría interna.
Sophontic describe una metodología de evaluación inspirada en la llamada "flip rate", un test de pares que busca impedir que los modelos aprovechen heurísticas superficiales para inflar sus resultados en pruebas convencionales. La pareja de ítems, y no el ítem aislado, es la unidad de medida, lo que permite evaluar razonamiento en lugar de simple memorización. El prototipo se está evaluando con perturbaciones emparejadas, anclas calibradas y superficies de transferencia públicas, con un estándar de medición estable mientras evoluciona el conjunto de pruebas.
La propuesta se explica en una entrevista con Julian D. Michels, que cuestiona que la inteligencia frontera pase inevitablemente por construir un generalista congelado respaldado por centros de datos cada vez mayores. En su lugar, plantea entender el razonamiento como una propiedad de la geometría interna del modelo y no del tamaño. La empresa no aporta aún datos reproduciblemente verificables que respalden la afirmación de superar en 60 veces a modelos mayores en razonamiento.