14 noticias
Este artículo es una crónica divulgativa del capítulo 2 de The Hundred-Page Language Models Book, centrada en los embeddings: la representación densa de palabras que usan los modelos de lenguaje. Frente a los vectores one-hot, que desperdician memoria y no capturan relaciones semánticas, los embeddi
TokenTown es una visualización interactiva e isométrica que representa un modelo de lenguaje transformer como una ciudad, donde cada distrito corresponde a una etapa del proceso: tokenización, embeddings, codificación posicional sinusoidal, LayerNorm, atención multi-cabezal con máscara causal y cach
Diez ganaderos del estado de Paraná, en Brasil, han tokenizado 10 vacas lecheras en la Bolsa de Valores B3, generando cerca de 20.000 dólares en crédito respaldado por el ganado, en un contexto de mayor restricción del crédito bancario para pequeños productores. Se trata de la primera operación de e
Gigatoken es una biblioteca de tokenización para modelos de lenguaje escrita en Rust que alcanza velocidades de hasta 24,53 GB/s en CPU AMD EPYC 9565 de 144 núcleos, frente a las 24,8 MB/s que ofrece el tokenizador de HuggingFace para GPT-2. Esto representa una aceleración cercana a 989 veces respec
El precio por millón de tokens que muestran las tarifas de los modelos de IA oculta un segundo factor decisivo: cada tokenizador trocea el mismo texto en un número distinto de unidades, y la factura final depende de esa multiplicación. Un análisis de Playcode con 16 ficheros reales (inglés, HTML, Ja
Los grandes modelos de lenguaje (LLM) actuales comparten un esqueleto común basado en la arquitectura transformer. Comprender las piezas fundamentales de ese bloque permite leer papers y fichas técnicas con criterio. Este artículo recorre los mecanismos esenciales: tokenización, embeddings, codifica
Elegir un modelo de lenguaje por su tarifa por millón de tokens puede disparar la factura de IA de una empresa sin que esta lo perciba. Dos razones explican el desajuste. Primero, cada laboratorio usa un tokenizador propio: el mismo fragmento de este artículo, por ejemplo, se trocea en 160 tokens pa
La tokenización es un paso fundamental en el entrenamiento de modelos de lenguaje de gran escala (LLM). Consiste en dividir el texto en unidades discretas llamadas tokens, cada una asociada a una secuencia de bytes. La elección del vocabulario de tokens, es decir, el mapeo entre tokens y bytes, impa
El desarrollador croqaz ha creado un modelo de lenguaje de gran tamaño (LLM) de 340 millones de parámetros, denominado Vintage-LLM, entrenado exclusivamente con textos publicados antes del año 1900. El proyecto demuestra que es posible construir un LLM funcional con recursos limitados (un PC de cons
Los modelos de lenguaje grandes (LLM) como GPT-4 no procesan texto directamente: lo fragmentan en unidades llamadas tokens, las únicas entidades que el modelo realmente percibe. Cada modelo dispone de un vocabulario fijo de tokens decidido durante su entrenamiento, por eso GPT-4 y Llama 3 descompone
Los modelos de lenguaje de gran tamaño (LLM) se construyen apilando bloques transformer una y otra vez, por lo que entender la maquinaria del transformer es la base para comprender su funcionamiento. Esta guía recorre los componentes esenciales de un LLM moderno sin profundizar en las matemáticas, c
Los Modelos de Lenguaje Grandes (LLMs), como ChatGPT, han revolucionado la forma en que interactuamos con la tecnología. Pero, ¿cómo funcionan realmente? Este resumen explica el proceso, desde los datos brutos hasta la creación de un asistente conversacional. **¿Qué son y por qué son importantes?*
Simon Willison ha actualizado su herramienta 'Claude Token Counter' para permitir la comparación del conteo de tokens entre diferentes modelos de inteligencia artificial de Anthropic, incluyendo Opus 4.7, Opus 4.6, Sonnet 4.6 y Haiku 4.5. La actualización es relevante porque el modelo Opus 4.7 intro
El artículo "Embarrassingly Simple Self-Distillation Improves Code Generation" presenta una técnica sorprendentemente sencilla para mejorar la capacidad de los grandes modelos de lenguaje (LLMs) para generar código. En esencia, la técnica, llamada Self-Distillation Simple (SSD), permite que un LLM s
