49 noticias
PSSA es un modelo de lenguaje de pequeño tamaño desarrollado en Rust desde cero, sin utilizar frameworks de aprendizaje automático como PyTorch o TensorFlow. A diferencia de los transformers, que procesan el contexto completo en cada paso, PSSA opera mediante una capa de espacio de estados recurrent
El Transformer es una arquitectura de red neuronal que ha redefinido el campo de la inteligencia artificial, introducida en 2017 con el artículo 'Attention is All You Need'. Su principal ventaja radica en el mecanismo de atención auto, que permite procesar secuencias completas y capturar dependencia
El repositorio jax-softmax-bypass presenta un prototipo de concepto (PoC) arquitectónico diseñado para superar las limitaciones de memoria y ejecución en los modelos de lenguaje de gran escala (LLM). A diferencia de las librerías de producción estándar, este framework ofrece un plano de acción técni
OpenAI ha desarrollado GPT-2, un modelo de lenguaje a gran escala entrenado de forma no supervisada con 40 GB de texto de Internet. El sistema, basado en la arquitectura transformer y compuesto por 1.500 millones de parámetros, es capaz de generar párrafos coherentes y realizar tareas de comprensión
LLM Visualizer es una plataforma interactiva diseñada para facilitar la comprensión profunda de los Modelos de Lenguaje Grandes (LLM) mediante la construcción práctica de un modelo funcional desde sus fundamentos. A diferencia de los tutoriales teóricos, esta herramienta opera como un laboratorio en
Un desarrollador ha publicado una herramienta web que permite visualizar de forma interactiva cómo funciona el mecanismo de atención en los grandes modelos de lenguaje (LLM) basados en transformadores. La aplicación, construida con React y Transformers.js, muestra cómo el modelo decide qué tokens an
Investigadores alertan de un riesgo de seguridad grave ante el lanzamiento de Astra, el nuevo modelo de OpenAI OpenAI se encuentra en la recta final del lanzamiento de Astra, su modelo de inteligencia artificial más avanzado hasta la fecha, pero un creciente número de expertos en seguridad advierte
El investigador Vakde ha presentado una nueva versión de su modelo para el benchmark ARC-AGI-1, un pequeño transformer entrenado desde cero en solo 1,5 horas con una GPU Nvidia RTX 5090. El sistema alcanza un 44% de precisión en ARC-AGI-1 y un 7% en ARC-AGI-2, con un coste total de aproximadamente 6
Este artículo explica, desde una perspectiva práctica y accesible, cómo aprovechar varios GPU reciclados para ejecutar modelos de lenguaje de gran tamaño en un servidor doméstico. Tras una introducción al funcionamiento básico de los transformers y al concepto de token, el texto repasa por qué la ge
NVIDIA ha lanzado DLSS 4.5 Ray Reconstruction, una nueva versión de su tecnología de reconstrucción neuronal aplicada al trazado de rayos que supone un salto cualitativo en la forma en que los videojuegos gestionan la iluminación generada por rayos. La actualización ya está disponible y representa l
Un equipo de investigación ha demostrado que es posible recuperar información léxica a nivel de palabra a partir de señales de electroencefalografía (EEG) durante la lectura silenciosa, abriendo una vía para avanzar en la decodificación no invasiva del habla interna. El trabajo aborda un problema fu
Etched AI salió del modo stealth el 30 de junio de 2026 con un producto singular: Sohu, un ASIC (circuito integrado de aplicación específica) diseñado exclusivamente para ejecutar la atención de los modelos transformer. Frente a las GPU programables de NVIDIA, Sohu implementa esas operaciones como c
Un desarrollador entrenó un transformer de 125 millones de parámetros capaz de autocompletar interpretaciones de piano en tiempo real, a unas 108 notas por segundo en un iPhone 15. La aplicación, llamada RollTab, se conecta a un teclado MIDI y está disponible gratis en la App Store. Tras catorce exp
microgpt-c es una implementación educativa y minimalista de un transformador GPT a nivel de carácter, escrita íntegramente en C y sin dependencias externas más allá de la libc. Reúne en un único archivo el forward pass, la retropropagación, el optimizador Adam y el muestreo de tokens, y se compila e
Cuando una pila deja de alimentar un dispositivo, no esta realmente vacia: aun conserva energia quimica y un voltaje residual insuficiente para vencer el umbral del LED o la bombilla. Aprovechar ese remanente es posible con un circuito sencillo conocido como 'ladron de julios', que combina un transf
DeepSeek, el modelo de lenguaje de gran tamaño desarrollado por la china DeepSeek AI, puede describirse a sí mismo con una franqueza inusual si se le pregunta directamente. En este ensayo, el ingeniero de software Manish Shahi (manish.sh) somete al modelo a una entrevista estructurada para extraer q
El proyecto 'qapla', disponible en GitHub, demuestra que es posible entrenar un pequeño modelo de lenguaje —un transformador a nivel de carácter— directamente dentro de un microcontrolador ESP32-S3 de bajo coste. A diferencia de los puertos tipo llama2.c, que solo ejecutan en inferencia modelos prev
Los modelos de lenguaje grandes (LLM) suelen recurrir a codificaciones posicionales para que el mecanismo de atención distinga la posición de cada token —o, más precisamente, de cada entrada del KV caché—. Las dos estrategias dominantes son RoPE, que rota por parejas las dimensiones de los vectores
TokenTown es una visualización interactiva e isométrica que representa un modelo de lenguaje transformer como una ciudad, donde cada distrito corresponde a una etapa del proceso: tokenización, embeddings, codificación posicional sinusoidal, LayerNorm, atención multi-cabezal con máscara causal y cach
Neutrino-1 8B: un único archivo de 3,88 GB para GPU, Mac y CPU La startup Fermion Research ha presentado Neutrino-1 8B, un modelo de inteligencia artificial de 8.000 millones de parámetros que destaca por una característica singular: se distribuye como un único archivo de 3,88 gigabytes capaz de ej
D-FINE-seg es un framework de código abierto que amplía el detector de objetos basado en transformers D-FINE con capacidades de segmentación de instancias. El proyecto añade una cabeza de máscara ligera, pérdidas de entrenamiento conscientes de la segmentación (BCE y Dice recortadas por bounding box
Thinking Machines ha presentado Inkling, su primer modelo de IA entrenado desde cero con pesos abiertos, junto a una versión reducida llamada Inkling-Small. Se trata de una arquitectura mixture-of-experts con 975.000 millones de parámetros totales (41.000 millones activos), capaz de razonar de forma
LeMario es un proyecto personal que reproduce la arquitectura Joint-Embedding Predictive Architecture (JEPA) propuesta por Yann LeCun, aplicada al videojuego Super Mario Bros. El autor reescribió el modelo desde cero: un codificador de visión que comprime cada fotograma en un vector latente de 192 v
nanoGPT-Seis es un repositorio de código abierto que enseña, paso a paso, el ciclo completo de preentrenamiento de un modelo de lenguaje aplicado a la ciencia de los terremotos. El proyecto combina texto sismológico especializado (artículos en acceso abierto vía Crossref y Unpaywall, preprints de ar
El sitio web "30 papers" recopila una lista de lecturas que, según el rumor, el cofundador de OpenAI Ilya Sutskever entregó al ingeniero John Carmack. El sitio reconoce que hasta ahora solo tiene 27 de los 30 trabajos y solicita ayuda para completar la versión canónica. La selección funciona como un
Un adolescente de 13 años ha entrenado por su cuenta, con recursos propios, un modelo de lenguaje de aproximadamente 288 millones de parámetros llamado DIMBA, que presenta una arquitectura poco habitual: combina la eficiencia de contexto de Mamba-2 con la generación paralela de los modelos de difusi
Un nuevo estudio de aprendizaje automático cuestiona uno de los supuestos más asentados del post-entrenamiento de modelos de lenguaje: que los beneficios del aprendizaje por refuerzo (RL) se distribuyen de forma pareja entre todas las capas del transformer. Los autores demuestran que entrenar una ún
Las redes neuronales recurrentes (RNN) tienen dificultades para competir con los transformers en tareas de recuerdo asociativo, una capacidad que la atención facilita al dar a cada token acceso directo a los anteriores. Sin embargo, en dominios como el aprendizaje por refuerzo de horizonte largo —al
Las leyes de escalado son uno de los hallazgos empíricos más relevantes del aprendizaje profundo: describen cómo la pérdida de entrenamiento disminuye de forma predecible, siguiendo una curva de potencia, al aumentar el tamaño del modelo (N), el volumen de datos (D) y el cómputo (C). Su utilidad prá
Un ensayo reflexivo parte de una pregunta aparentemente simple: ¿de dónde vienen las palabras? Para los humanos, la idea precede al lenguaje; las palabras son solo la envoltura de un pensamiento o sentimiento previo. En un modelo de lenguaje grande (LLM) sucede lo contrario: el sistema predice la si
nanoeuler es un proyecto educativo e investigador que implementa un modelo de lenguaje tipo GPT-2 desde cero, sin recurrir a PyTorch, autograd ni librerías de aprendizaje automático. Todo el pipeline de entrenamiento —el forward, el backward, un tokenizador byte-level BPE escrito a mano, el preentre
GPT2-BASIC es un runtime de transformer y asistente local implementado en BASIC para máquinas de clase DOS, compilado con FreeBASIC y verificado en QEMU. No es un frontend web ni un envoltorio de API: carga artefactos de modelo desde disco, ejecuta inferencia tipo GPT con aritmética entera de punto
Múnich 1991: el año milagroso del deep learning que anticipó los LLM. Este artículo repasa cómo el equipo de Jürgen Schmidhuber en la Universidad Técnica de Múnich publicó, entre marzo y agosto de 1991, los fundamentos de las técnicas que hoy sustentan los grandes modelos de lenguaje. En apenas cinc
Character.AI ha compartido una convención interna, vigente desde 2022, que añade al nombre de cada tensor un sufijo con las letras de sus dimensiones. El objetivo es que cualquier variable revele de un vistazo la forma del tensor con el que se trabaja, sin necesidad de rastrear el código. La regla
Dimensionar un clúster de GPUs para servir modelos de lenguaje no requiere simulaciones costosas: con unos pocos datos del hardware y de la arquitectura del modelo se puede estimar el coste por usuario con operaciones básicas. Esta guía didáctica recorre, paso a paso, los tres ejes que rigen la infe
Una investigación publicada en PNAS Nexus examina una limitación estructural de los modelos de lenguaje basados en la arquitectura transformer: la ausencia de un mecanismo explícito de control ejecutivo de la atención, la función que en el cerebro humano permite resolver conflictos entre estímulos c
En febrero de 2019, OpenAI presentó GPT-2, un modelo de lenguaje basado en el decodificador del transformer que suponía un escalado directo de GPT-1: 1.500 millones de parámetros —diez veces más que su predecesor—, entrenado sobre 40 GB de texto web y entrenado en 48 bloques de decodificador con una
Speculative KV coding es un nuevo método para reducir el tamaño de la caché de clave-valor (KV cache) de los modelos de lenguaje grandes (LLM) hasta aproximadamente cuatro veces, sin pérdida de información, partiendo de una caché ya comprimida con pérdida en fp8. El contexto de los LLM crece de for
Los modelos de lenguaje de gran tamaño (LLM) se construyen apilando bloques transformer una y otra vez, por lo que entender la maquinaria del transformer es la base para comprender su funcionamiento. Esta guía recorre los componentes esenciales de un LLM moderno sin profundizar en las matemáticas, c
Stanford, una de las universidades más prestigiosas del mundo en ciencias de la computación, ha puesto en marcha el curso CS336, una asignatura singular que propone a los estudiantes construir un modelo de lenguaje de gran tamaño (LLM) desde cero, replicando el espíritu de los legendarios cursos de
La edición 2026 de CVPR ha puesto en tela de juicio los componentes estándar del aprendizaje profundo. Cinco trabajos clave atacan desde la periferia hasta el núcleo de las arquitecturas actuales. BinaryAttention demuestra que la atención con cuantización de 1 bit es más rápida que FlashAttention2 y
Los transformers autorregresivos son la arquitectura fundamental que permite a los modelos de lenguaje grande (LLMs) generar texto token a token, prediciendo cada siguiente palabra basándose en todo lo previamente generado. Este proceso se divide en dos fases: prefill (preparación) y decode (generac
La optimización de candidatos (lead optimisation) es una etapa crítica en el diseño de fármacos donde se toma una molécula que funciona parcialmente y se busca mejorar su rendimiento para que sea realmente efectiva. Este proceso representa el punto donde muchas campañas de diseñotriunfan o fracasan
Este artículo explora una sorprendente similitud entre redes neuronales y cifrados criptográficos, dos campos que a primera vista parecen no tener nada en común. Mientras que las redes neuronales aprenden patrones para generar texto y los cifrados protegen la información, sus algoritmos subyacentes
Un desarrollador ha logrado ejecutar un modelo Transformer de una sola capa en un ordenador vintage PDP-11, un hito que demuestra la capacidad de hardware antiguo para realizar tareas de inteligencia artificial complejas. El proyecto, denominado 'ATTN/11', es una continuación de trabajos anteriores
En un giro inesperado en el mundo de la inteligencia artificial, un investigador conocido como 'dnhkng' ha logrado colocar su modelo, 'RYS-XLarge', en la cima del Hugging Face Open LLM Leaderboard, sin modificar ni un solo peso del modelo original. La hazaña, lograda a mediados de 2024, implica dupl
Investigadores han logrado reducir significativamente el tamaño de los modelos transformer capaces de realizar la suma de dos números de 10 dígitos con una precisión superior al 99%, un desafío conocido como 'AdderBoard'. Inicialmente, modelos generados por Claude Code y Codex requerían 6.080 y 1.64
El LiDAR (Light Detection and Ranging) se ha convertido en una tecnología esencial para la conducción autónoma, proporcionando escaneos 3D de alta resolución que permiten una comprensión precisa del entorno. Tradicionalmente, los sensores LiDAR miden la intensidad de la luz láser reflejada en funció
El artículo "Attention is All You Need" introduce una nueva arquitectura de red neuronal llamada Transformer, que revolucionó el campo del procesamiento del lenguaje natural y más allá. Tradicionalmente, los modelos de secuencia a secuencia, como los utilizados en traducción automática, se basaban e
