Algoritmo de planos de corte optimiza tokenizadores de LLM
La tokenización es un paso fundamental en el entrenamiento de modelos de lenguaje de gran escala (LLM). Consiste en dividir el texto en unidades discretas llamadas tokens, cada una asociada a una secuencia de bytes. La elección del vocabulario de tokens, es decir, el mapeo entre tokens y bytes, impa
