IA: Tokens, el costo secreto que infla las facturas

El uso de modelos de inteligencia artificial como GPT-4, Claude y Gemini, aparentemente económicos, está resultando significativamente más costoso de lo que parece. La clave reside en la unidad de medida utilizada: los 'tokens'. A diferencia de lo que muchos usuarios creen, no se paga por palabra, sino por token, una subdivisión de palabras procesada por algoritmos de compresión específicos de cada proveedor. Esta falta de estandarización, conocida como 'impuesto lingüístico', puede aumentar los costos hasta en un 60% para idiomas distintos al inglés, como el español o el alemán, debido a que cada empresa utiliza su propio tokenizador. La disparidad en los precios entre proveedores también es considerable, con diferencias de hasta 420 veces en el costo por millón de tokens para tareas similares. La plataforma TokensTree busca solucionar este problema ofreciendo una infraestructura que normaliza el conteo de tokens entre diferentes proveedores y optimiza la codificación para reducir costos, permitiendo a los usuarios comprender el costo real del uso de la IA y evitar sorpresas en sus facturas mensuales. La situación recuerda a los primeros días de la computación en la nube, donde cada proveedor definía su propia unidad de medida, creando opacidad y beneficiando a los vendedores.