ChatGPT no elige números al azar, revela estudio

Fuentes: GitHub - exmergo/research-chatgpt-guesses-between-1-and-100: When asked to pick a random number between 1 and 100, ChatGPT does not follow a random uniform distribution
ChatGPT no elige números al azar, revela estudio
Imagen generada con IA

Este proyecto de investigación explora un fenómeno fascinante: la capacidad de los modelos de lenguaje grandes (LLM) como GPT-4.1 para generar números aleatorios. Contrario a la intuición, los humanos no son buenos generadores de números aleatorios. Tienden a elegir números predecibles, como 37 y 73, influenciados por memes (42) y evitando números redondos. Para investigar si GPT-4.1, entrenado con texto humano, reproduce este sesgo, se le pidió que eligiera un número aleatorio entre 1 y 100, 10.000 veces.

La metodología implicó el uso de la API de OpenAI para acceder a GPT-4.1, configurando una temperatura de 1.0 para maximizar la variabilidad en las respuestas. Se comparó la distribución de números elegidos por el modelo con una distribución uniforme ideal (la que produciría un generador de números verdaderamente aleatorios). El análisis reveló que GPT-4.1 no genera números aleatorios de manera uniforme. En cambio, su distribución se asemeja sorprendentemente a la de los humanos, mostrando picos en números como 37, 42 y 73, y evitando números redondos. Un aspecto particularmente interesante es que el modelo no replicó completamente el sesgo humano, sino que mostró una versión atenuada, evitando el número 69 (un meme asociado a contenido inapropiado), lo que sugiere la influencia de mecanismos de seguridad implementados durante el entrenamiento.

Este estudio no es una prueba definitiva de la aleatoriedad de GPT-4.1, sino una 'sonda' ilustrativa. Las conclusiones se limitan a este modelo específico y a la configuración de temperatura y prompt utilizada. Es importante destacar que el modelo no está generando números aleatorios en el sentido estricto; está muestreando una distribución de tokens aprendida durante el entrenamiento. El proyecto proporciona datos brutos, código y visualizaciones interactivas para permitir la reproducibilidad y la exploración adicional. En resumen, el experimento demuestra que los LLM, incluso los más avanzados, pueden heredar y reproducir los sesgos cognitivos presentes en los datos con los que fueron entrenados, aunque con posibles modificaciones debido a medidas de seguridad.