Noticias que mencionan tiktoken

CCC: un generador de caché de código para alimentar agentes de IA

CCC (ContextCodeCache) es una herramienta de línea de comandos, escrita en Rust, que analiza un proyecto y produce un directorio .ccc con un mapa compacto y legible por máquina de cada archivo fuente: constantes, funciones (con tipo de retorno y resumen de documentación), grafo de llamadas intra-arc

Nueva herramienta permite ver la velocidad real de modelos de lenguaje locales

Una nueva herramienta visualiza en tiempo real la velocidad de generación de tokens de modelos de lenguaje locales, permitiendo a usuarios experimentar con distintas tasas de generación que van desde 5 hasta 800 tokens por segundo. La aplicación muestra cuatro modos de visualización: código con resa

Entrena GPT en tu laptop: Taller práctico y accesible

Un desarrollador ha creado un taller práctico para permitir a usuarios entrenar modelos GPT en laptops, incluso sin experiencia previa en aprendizaje automático. Inspirado por el proyecto 'nanoGPT' de Andrej Karpathy, el taller simplifica el proceso, reduciendo el tamaño del modelo a aproximadamente

IA: Tokens, el costo secreto que infla las facturas

El uso de modelos de inteligencia artificial como GPT-4, Claude y Gemini, aparentemente económicos, está resultando significativamente más costoso de lo que parece. La clave reside en la unidad de medida utilizada: los 'tokens'. A diferencia de lo que muchos usuarios creen, no se paga por palabra, s

Ingeniero simplifica modelos GPT a 200 líneas de código

Un ingeniero ha simplificado significativamente los modelos de lenguaje grandes (LLM) como GPT, creando una versión funcional en tan solo 200 líneas de código Python. Esta hazaña, denominada 'microgpt', representa un hito en la accesibilidad y comprensión de la tecnología detrás de herramientas como