El lanzamiento de la versión sin bloqueo de intérprete global (GIL) en Python 3.14, denominada python3.14t, permite ejecutar múltiples hilos simultáneamente, lo que habilita el procesamiento paralelo de datos masivos. Un artículo técnico de Daniel Lemire demuestra que, combinando esta versión con la librería fastsimdjson, es posible parsear archivos JSON de 7,6 GB en aproximadamente 0,12 segundos, alcanzando una velocidad de 66 GB/s en un solo proceso.
El experimento utiliza datos del proyecto GH Archive, que recopila eventos de GitHub en formato NDJSON. El objetivo es analizar el lenguaje de programación de los repositorios que reciben más pull requests. La implementación emplea un pool de hilos de 64 para procesar el archivo en paralelo, evitando la creación innecesaria de objetos Python mediante la función lazy de fastsimdjson, que solo materializa los datos accedidos. Este enfoque reduce drásticamente el tiempo de ejecución frente a los parsers estándar, que requieren 42 segundos en un solo núcleo y 25 GB/s con 64 hilos. La técnica destaca por su eficiencia en escenarios donde el volumen de datos supera a la capacidad de procesamiento secuencial, ofreciendo una alternativa viable para tareas de análisis de big data en Python.
