La especialización del vocabulario de los modelos de lenguaje pequeños (SLM) mediante la técnica VocabX permite reducir el coste de inferencia en un 77% sin modificar el modelo base. Este método, desarrollado por un equipo de ingeniería, optimiza el tokenizador de modelos como Qwen3-4B y Gemma, que suelen heredar vocabularios genéricos diseñados para múltiples dominios. En una aplicación de producción para la corrección automática de ensayos en portugués, el vocabulario original contenía 151.669 entradas, muchas de las cuales no se utilizaban en el contexto específico de la tarea. Al reconstruir el vocabulario basándose en el coste de cada token en lugar de su frecuencia, el sistema redujo la matriz de la capa de salida de aproximadamente 152.000 a 65.000 filas. El enfoque considera que la generación de tokens es significativamente más costosa que su lectura debido a la limitación de ancho de banda de memoria en la fase de decodificación. VocabX aborda simultáneamente la fragmentación y el exceso de vocabulario, superando las limitaciones de métodos previos como FVT o MWT que solo optimizaban por frecuencia. Esta técnica es relevante para desarrolladores que buscan mejorar la eficiencia de costes en aplicaciones de IA, especialmente en modelos pequeños donde el impacto de la matriz de vocabulario es más significativo.
