Investigadores de IA debaten la cercanía de la auto-mejora recursiva

Fuentes: AI researchers debate how close we are to recursive self-improvement

John Schulman, Beren Millidge y Charlie O’Neill analizan en un nuevo episodio del Dwarkesh Podcast los obstáculos técnicos que podrían impedir la llegada de una superinteligencia generalizada en 2036. Los expertos, vinculados a Thinking Machines, Zyphra y Baseten respectivamente, argumentan que la principal barrera no es la capacidad bruta de los modelos, sino la brecha persistente entre el rendimiento en entornos simulados y el mundo real (sim-to-real gap). Millidge señala que, aunque los modelos superan a los humanos en tareas específicas como matemáticas o ajedrez, carecen de la generalización necesaria para adaptarse a contextos no vistos, un fenómeno que compara con la paradoja de Moravec. Schulman añade que los modelos actuales sufren de un ciclo de decepción: impresionan inicialmente, pero revelan limitaciones de juicio y auto-verificación con el uso prolongado, lo que impide un crecimiento exponencial de la productividad. O’Neill cuestiona si el paradigma actual de transformers y refuerzo por aprendizaje (RL) está cerca del óptimo global para un agente de investigación, sugiriendo que, al igual que la ley de Moore, se requieren discontinuidades innovadoras para mantener la escalabilidad. La conversación también aborda el progreso de los laboratorios chinos, el entrenamiento de investigadores de IA automatizados y la viabilidad de la IA general (AGI) mediante RL de horizonte largo.