software · 10 menciones
Un ingeniero ha simplificado significativamente los modelos de lenguaje grandes (LLM) como GPT, creando una versión funcional en tan solo 200 líneas de código Python. Esta hazaña, denominada 'microgpt', representa un hito en la accesibilidad y comprensión de la tecnología detrás de herramientas como
El uso de modelos de inteligencia artificial como GPT-4, Claude y Gemini, aparentemente económicos, está resultando significativamente más costoso de lo que parece. La clave reside en la unidad de medida utilizada: los 'tokens'. A diferencia de lo que muchos usuarios creen, no se paga por palabra, s
Un desarrollador ha creado un taller práctico para permitir a usuarios entrenar modelos GPT en laptops, incluso sin experiencia previa en aprendizaje automático. Inspirado por el proyecto 'nanoGPT' de Andrej Karpathy, el taller simplifica el proceso, reduciendo el tamaño del modelo a aproximadamente
Una nueva herramienta visualiza en tiempo real la velocidad de generación de tokens de modelos de lenguaje locales, permitiendo a usuarios experimentar con distintas tasas de generación que van desde 5 hasta 800 tokens por segundo. La aplicación muestra cuatro modos de visualización: código con resa
fenic es una librería de DataFrames diseñada para construir pipelines de inteligencia artificial y modelos de lenguaje sobre datos no estructurados, con una API inspirada en PySpark y cuyo motor local es Polars. Durante su desarrollo, el equipo detectó que las operaciones que un pipeline de IA neces
CCC (ContextCodeCache) es una herramienta de línea de comandos, escrita en Rust, que analiza un proyecto y produce un directorio .ccc con un mapa compacto y legible por máquina de cada archivo fuente: constantes, funciones (con tipo de retorno y resumen de documentación), grafo de llamadas intra-arc
Gigatoken es una biblioteca de tokenización para modelos de lenguaje escrita en Rust que alcanza velocidades de hasta 24,53 GB/s en CPU AMD EPYC 9565 de 144 núcleos, frente a las 24,8 MB/s que ofrece el tokenizador de HuggingFace para GPT-2. Esto representa una aceleración cercana a 989 veces respec
El precio por millón de tokens que muestran las tarifas de los modelos de IA oculta un segundo factor decisivo: cada tokenizador trocea el mismo texto en un número distinto de unidades, y la factura final depende de esa multiplicación. Un análisis de Playcode con 16 ficheros reales (inglés, HTML, Ja
Refactorizar una base de código escrita íntegramente por agentes de inteligencia artificial reduce de forma significativa el coste computacional de los cambios posteriores. Es la conclusión de un experimento publicado por Thoughtworks el 30 de julio de 2026 en el que el autor, tras construir una apl
La nueva versión 1 de la librería tokenizers de Hugging Face introduce mejoras significativas en velocidad y escalabilidad, logrando hasta diez veces más rendimiento que la versión 0.23. Este cambio arquitectónico busca eliminar el cuello de botella en la tokenización, permitiendo que las GPU no que
