La nueva versión 1 de la librería tokenizers de Hugging Face introduce mejoras significativas en velocidad y escalabilidad, logrando hasta diez veces más rendimiento que la versión 0.23. Este cambio arquitectónico busca eliminar el cuello de botella en la tokenización, permitiendo que las GPU no queden inactivas mientras la CPU procesa el texto. La optimización se basa en técnicas avanzadas de programación de bajo nivel, incluyendo el uso de instrucciones SIMD (Single Instruction, Multiple Data) para el corte de texto y la implementación de una caché de palabras local por hilo.
El núcleo de la mejora reside en la sustitución del motor de expresiones regulares por funciones manuales que operan sobre flujos de bits paralelos. Esta técnica, denominada 'bitcannon', permite procesar 64 bytes por operación, reduciendo drásticamente el tiempo de pre-tokenización. Además, se ha reescrito el bucle de fusión (merge loop) para reutilizar una memoria de reserva (scratch buffer) en lugar de asignar memoria nueva en cada iteración, lo que reduce las asignaciones de memoria innecesarias. La librería mantiene la compatibilidad total con la API de la versión anterior, preservando los IDs de tokens y la estructura de vocabulario, pero ahora soporta múltiples hilos de forma nativa, permitiendo que un solo tokenizador codifique entradas de varios hilos simultáneamente sin contention por el bloqueo de sincronización. Estas mejoras son críticas para cargas de trabajo que involucran grandes conjuntos de datos o procesamiento de entradas largas, asegurando que la tokenización sea ligera y escalable con el flujo de trabajo.