17 noticias
Un desarrollador ha publicado una herramienta web que permite visualizar de forma interactiva cómo funciona el mecanismo de atención en los grandes modelos de lenguaje (LLM) basados en transformadores. La aplicación, construida con React y Transformers.js, muestra cómo el modelo decide qué tokens an
Un equipo de autores presenta en Zenodo la versión 8.0 de un preprint titulado "Persistent State Machines: Complete Mathematical Proofs and Vivado Implementation Synthesis", que introduce un marco discreto formal para modelar los operadores de atención de los modelos de lenguaje de gran tamaño (LLMs
TokenTown es una visualización interactiva e isométrica que representa un modelo de lenguaje transformer como una ciudad, donde cada distrito corresponde a una etapa del proceso: tokenización, embeddings, codificación posicional sinusoidal, LayerNorm, atención multi-cabezal con máscara causal y cach
Una guía en forma de serie de artículos recorre, de forma ordenada por dependencias, la pila tecnológica completa de un modelo de lenguaje grande (LLM) actual. El recorrido va de los fundamentos de álgebra lineal —vectores, matrices y espacios vectoriales— hasta los protocolos de agentes que llegan
Los grandes modelos de lenguaje (LLM) actuales comparten un esqueleto común basado en la arquitectura transformer. Comprender las piezas fundamentales de ese bloque permite leer papers y fichas técnicas con criterio. Este artículo recorre los mecanismos esenciales: tokenización, embeddings, codifica
El sitio web "30 papers" recopila una lista de lecturas que, según el rumor, el cofundador de OpenAI Ilya Sutskever entregó al ingeniero John Carmack. El sitio reconoce que hasta ahora solo tiene 27 de los 30 trabajos y solicita ayuda para completar la versión canónica. La selección funciona como un
Un estudio del Allen Institute for AI compara, nivel por nivel de token, dos modelos de 7.000 millones de parámetros entrenados con la misma receta: Olmo 3, un transformer puro, y Olmo Hybrid, que combina capas de atención con capas recurrentes. Los autores calculan la pérdida emparejada token a tok
Dimensionar un clúster de GPUs para servir modelos de lenguaje no requiere simulaciones costosas: con unos pocos datos del hardware y de la arquitectura del modelo se puede estimar el coste por usuario con operaciones básicas. Esta guía didáctica recorre, paso a paso, los tres ejes que rigen la infe
La empresa detrás de SubQ ha presentado la ficha técnica de SubQ 1.1 Small, la segunda iteración de su modelo de atención dispersa subcuadrática (SSA), en su tamaño más reducido. La compañía está desplegando el modelo con un grupo selecto de socios de diseño y prevé lanzar a lo largo del año una fam
Las ventanas de contexto de los modelos de lenguaje grandes no son lo que parecen. Un vídeo reciente distingue dos zonas dentro de esa ventana: una "zona inteligente", donde el modelo responde con precisión, y una "zona tonta", donde la atención cae y el modelo empieza a olvidar lo que se le dijo mi
Una investigación publicada en PNAS Nexus examina una limitación estructural de los modelos de lenguaje basados en la arquitectura transformer: la ausencia de un mecanismo explícito de control ejecutivo de la atención, la función que en el cerebro humano permite resolver conflictos entre estímulos c
Los modelos de lenguaje de gran tamaño (LLM) se construyen apilando bloques transformer una y otra vez, por lo que entender la maquinaria del transformer es la base para comprender su funcionamiento. Esta guía recorre los componentes esenciales de un LLM moderno sin profundizar en las matemáticas, c
Un nuevo estudio explora la necesidad de las tres proyecciones (Query, Key, Value) en los Transformers, componentes centrales de la arquitectura para tareas de inteligencia artificial. Los investigadores evaluaron restricciones de compartición de proyecciones, incluyendo la combinación de Q-K=V, Q=K
Los transformers autorregresivos son la arquitectura fundamental que permite a los modelos de lenguaje grande (LLMs) generar texto token a token, prediciendo cada siguiente palabra basándose en todo lo previamente generado. Este proceso se divide en dos fases: prefill (preparación) y decode (generac
El rápido avance de los modelos de lenguaje (LLMs) ha permitido crear sistemas capaces de procesar y generar texto con una coherencia y sofisticación impresionantes. Sin embargo, un cuello de botella crucial en su escalabilidad es la gestión de la memoria, específicamente el 'KV cache' (Key-Value ca
Hugging Face ha publicado un artículo técnico explicando 'continuous batching', una técnica para acelerar la respuesta de los modelos de lenguaje grandes (LLMs) como Qwen y Claude. El problema actual es que los LLMs, al generar texto, procesan la solicitud completa y luego añaden tokens uno por uno,
El artículo "Attention is All You Need" introduce una nueva arquitectura de red neuronal llamada Transformer, que revolucionó el campo del procesamiento del lenguaje natural y más allá. Tradicionalmente, los modelos de secuencia a secuencia, como los utilizados en traducción automática, se basaban e
