Investigadores han desarrollado 'Talkie', un modelo de lenguaje de 13 mil millones de parámetros entrenado con textos en inglés anteriores a 1931, para explorar el pasado de la inteligencia artificial y comprender mejor su futuro. El proyecto, liderado por Nick Levine, David Duvenaud y Alec Radford, busca simular conversaciones con personas de épocas pasadas y analizar el comportamiento de estos modelos 'vintage' para identificar patrones y limitaciones en la IA moderna.
Un objetivo clave es evaluar la capacidad de predicción de estos modelos, analizando cómo su conocimiento histórico impacta su comprensión de eventos posteriores. Los investigadores también están explorando si un modelo entrenado con datos pre-1911 podría, por ejemplo, haber descubierto la relatividad general. La ausencia de datos modernos en el entrenamiento de Talkie permite realizar experimentos de generalización únicos, como evaluar su capacidad para aprender a programar en Python, incluso sin conocimiento previo de computadoras digitales.
Talkie es el modelo vintage más grande conocido hasta la fecha, y el equipo planea continuar escalando su tamaño y corpus de datos, con el objetivo de crear un modelo comparable a GPT-3.5. La investigación también destaca la importancia de la diversidad de datos en el desarrollo de la IA, sugiriendo que los modelos entrenados con datos web pueden estar limitados por las características específicas de ese conjunto de datos.