Un reciente estudio realizado por Metr.org sugiere que la mejora en las capacidades de programación de los modelos de lenguaje grandes (LLM) podría haber alcanzado un punto de meseta. La investigación, publicada en entropicthoughts.com, analiza el rendimiento de los LLM en tareas de programación, comparando el éxito en aprobar pruebas con la probabilidad de que el código sea aceptado por un mantenedor. Los resultados revelan una brecha significativa entre ambas métricas, reduciendo el tiempo estimado para alcanzar un 50% de éxito en la aprobación del código de 50 minutos a tan solo 8 minutos. Lo más sorprendente es que el análisis de las tasas de integración del código generado por LLM desde principios de 2025 no muestra una mejora significativa, contradiciendo la expectativa de una progresión lineal. El estudio incluso indica que un modelo que asume tasas de integración constantes es más preciso que uno que predice una mejora gradual, sugiriendo que las habilidades de programación de los LLM no han evolucionado de manera apreciable en más de un año. Este estancamiento, según el análisis, no está recibiendo la atención que merece en la comunidad de la inteligencia artificial.
Noticias agregadas con IA