Noticias que mencionan tiktoken

Refactorizar código generado por agentes reduce un 83% el coste en tokens

Refactorizar una base de código escrita íntegramente por agentes de inteligencia artificial reduce de forma significativa el coste computacional de los cambios posteriores. Es la conclusión de un experimento publicado por Thoughtworks el 30 de julio de 2026 en el que el autor, tras construir una apl

Cómo fenic amplió Polars con nueve plugins de expresiones en Rust

fenic es una librería de DataFrames diseñada para construir pipelines de inteligencia artificial y modelos de lenguaje sobre datos no estructurados, con una API inspirada en PySpark y cuyo motor local es Polars. Durante su desarrollo, el equipo detectó que las operaciones que un pipeline de IA neces

Gigatoken: un tokenizador en Rust hasta 1000 veces más rápido que HuggingFace

Gigatoken es una biblioteca de tokenización para modelos de lenguaje escrita en Rust que alcanza velocidades de hasta 24,53 GB/s en CPU AMD EPYC 9565 de 144 núcleos, frente a las 24,8 MB/s que ofrece el tokenizador de HuggingFace para GPT-2. Esto representa una aceleración cercana a 989 veces respec

El mismo TypeScript cuesta un 73 % más de tokens en Claude que en GPT

El precio por millón de tokens que muestran las tarifas de los modelos de IA oculta un segundo factor decisivo: cada tokenizador trocea el mismo texto en un número distinto de unidades, y la factura final depende de esa multiplicación. Un análisis de Playcode con 16 ficheros reales (inglés, HTML, Ja

CCC: un generador de caché de código para alimentar agentes de IA

CCC (ContextCodeCache) es una herramienta de línea de comandos, escrita en Rust, que analiza un proyecto y produce un directorio .ccc con un mapa compacto y legible por máquina de cada archivo fuente: constantes, funciones (con tipo de retorno y resumen de documentación), grafo de llamadas intra-arc

Nueva herramienta permite ver la velocidad real de modelos de lenguaje locales

Una nueva herramienta visualiza en tiempo real la velocidad de generación de tokens de modelos de lenguaje locales, permitiendo a usuarios experimentar con distintas tasas de generación que van desde 5 hasta 800 tokens por segundo. La aplicación muestra cuatro modos de visualización: código con resa

Entrena GPT en tu laptop: Taller práctico y accesible

Un desarrollador ha creado un taller práctico para permitir a usuarios entrenar modelos GPT en laptops, incluso sin experiencia previa en aprendizaje automático. Inspirado por el proyecto 'nanoGPT' de Andrej Karpathy, el taller simplifica el proceso, reduciendo el tamaño del modelo a aproximadamente

IA: Tokens, el costo secreto que infla las facturas

El uso de modelos de inteligencia artificial como GPT-4, Claude y Gemini, aparentemente económicos, está resultando significativamente más costoso de lo que parece. La clave reside en la unidad de medida utilizada: los 'tokens'. A diferencia de lo que muchos usuarios creen, no se paga por palabra, s

Ingeniero simplifica modelos GPT a 200 líneas de código

Un ingeniero ha simplificado significativamente los modelos de lenguaje grandes (LLM) como GPT, creando una versión funcional en tan solo 200 líneas de código Python. Esta hazaña, denominada 'microgpt', representa un hito en la accesibilidad y comprensión de la tecnología detrás de herramientas como