63 noticias
Las leyes de escalado son uno de los hallazgos empíricos más relevantes del aprendizaje profundo: describen cómo la pérdida de entrenamiento disminuye de forma predecible, siguiendo una curva de potencia, al aumentar el tamaño del modelo (N), el volumen de datos (D) y el cómputo (C). Su utilidad prá
Google Research ha presentado TabFM, un nuevo modelo fundacional diseñado para tareas de clasificación y regresión sobre datos tabulares que opera en modo zero-shot, sin necesidad de entrenar el modelo para cada conjunto de datos. La herramienta, desarrollada por los científicos Weihao Kong y Abhima
Meta AI y el Basque Center on Cognition, Brain, and Language (BCBL) presentaron Brain2Qwerty v2, una nueva versión de su sistema de inteligencia artificial que traduce la actividad cerebral en texto sin necesidad de implantes quirúrgicos. El modelo se entrenó con cerca de 22.000 frases escritas por
Un estudio publicado en Nature Physics aporta, por primera vez, pruebas a nivel molecular de que el agua líquida no es una sustancia uniforme, sino una mezcla cambiante de dos estructuras microscópicas diferenciadas. El trabajo, dirigido por el profesor Xiao Cheng Zeng, de la City University of Hong
Yann LeCun, considerado uno de los padres del deep learning y responsable de IA en Meta, arremetió en la feria Vivatech de París contra la estrategia de compañías como Anthropic y OpenAI de presentar sus modelos como demasiado peligrosos para ser publicados. Durante un coloquio con el periodista Ste
Construir un bucle de entrenamiento en PyTorch parece sencillo, pero colocar cada instrucción en el orden correcto resulta sorprendentemente frágil: los entrenamientos fallan al converger, arrojan resultados incorrectos o consumen memoria excesiva cuando una línea está mal ubicada. Este artículo des
Un equipo de investigación ha documentado una limitación sistemática en los grandes modelos de lenguaje autorregresivos: la bautizada como "maldición de la inversión". El fenómeno consiste en que, cuando un modelo se entrena con frases del tipo "A es B", no generaliza automáticamente hacia la direcc
Neural Particle Automata (NPA) es un nuevo modelo de aprendizaje profundo que generaliza los Neural Cellular Automata (NCA) desde retículas fijas hacia sistemas de partículas en movimiento continuo. Mientras los NCA clásicos trabajan sobre píxeles o vóxeles estáticos, NPA representa cada célula como
Múnich 1991: el año milagroso del deep learning que anticipó los LLM. Este artículo repasa cómo el equipo de Jürgen Schmidhuber en la Universidad Técnica de Múnich publicó, entre marzo y agosto de 1991, los fundamentos de las técnicas que hoy sustentan los grandes modelos de lenguaje. En apenas cinc
Character.AI ha compartido una convención interna, vigente desde 2022, que añade al nombre de cada tensor un sufijo con las letras de sus dimensiones. El objetivo es que cualquier variable revele de un vistazo la forma del tensor con el que se trabaja, sin necesidad de rastrear el código. La regla
microcrad es un pequeño motor de diferenciación automática escalar escrito en C, acompañado de un perceptrón multicapa, concebido como una reimplementación del proyecto micrograd de Andrej Karpathy. Su propósito es eminentemente educativo: permitir a cualquier persona leer, modificar y experimentar
Ensayo de carácter didáctico que reúne, en siete apartados, recomendaciones de fondo para quien aspire a investigar en inteligencia artificial. El primer consejo es tan sencillo como exigente: formarse requiere combinar lectura y construcción, porque ninguna de las dos basta por sí sola. El autor re
Los autómatas celulares neuronales (NCA) son sistemas dinámicos bioinspirados en los que células idénticas aplican de forma iterativa una regla local aprendida para autoorganizarse en patrones complejos con capacidad de regeneración y robustez. Sin embargo, su uso práctico se había limitado a resolu
El análisis de correlación canónica (CCA), introducido por Harold Hotelling en 1936, es la raíz conceptual de los modelos JEPA (Joint Embedding Predictive Architecture), según explica Shon Czinner en su blog. CCA resuelve un problema clásico: encontrar la señal común entre dos matrices de datos maxi
La función Softmax es una de las piezas fundamentales en las redes neuronales modernas, especialmente en tareas de clasificación multiclase. Se trata de una función matemática no lineal que convierte un vector de puntuaciones brutas, denominadas logits y que pueden tomar cualquier valor real positiv
La versión 5 de OpenCV, la biblioteca de referencia en visión por computador con más de 86.000 estrellas en GitHub y un millón de instalaciones diarias, se publicará el 8 de junio en PyPI. Se trata de la mayor revisión del proyecto en años, coordinada por la organización sin ánimo de lucro OpenCV.or
DINOv3, un modelo de visión por computadora publicado por Meta en 2025, comprime cualquier imagen en un vector de 384 números que codifica su contenido semántico. Un nuevo experimento explica cómo visualizar y desglosar ese espacio latente para entender qué información captura realmente la red. El
Un perceptrón es la unidad mínima de una red neuronal: recibe un número y devuelve una respuesta de sí o no. Aunque parezca trivial, la idea, propuesta por Frank Rosenblatt en 1958, es el germen de todas las redes neuronales actuales. El artículo construye uno desde cero en Python, sin matemáticas a
El ensayo «Human-like Neural Nets by Catapulting», publicado por el investigador y escritor Gwern en su blog personal, plantea una propuesta especulativa para desarrollar redes neuronales con un rendimiento comparable al del cerebro humano. La hipótesis central sostiene que las diferencias entre los
Esta entrada del blog explica cómo implementar operaciones personalizadas en PyTorch utilizando C++ y CUDA, y cómo integrarlas tanto en modelos de PyTorch como en programas de inferencia compilados con AOTInductor. El ejemplo guía es una convolución identidad mínima que ilustra el ciclo completo: de
Los modelos de lenguaje de gran tamaño (LLM) se construyen apilando bloques transformer una y otra vez, por lo que entender la maquinaria del transformer es la base para comprender su funcionamiento. Esta guía recorre los componentes esenciales de un LLM moderno sin profundizar en las matemáticas, c
En los últimos años, los modelos generativos de aprendizaje profundo han transformado el diseño de biomoléculas. Sistemas como AlphaFold3 de DeepMind facilitaron la predicción de interacciones biomoleculares, lo que abrió la puerta a herramientas como Chai-2, Latent-X2 y Nabla, capaces de proponer a
La startup estadounidense Windborne Systems presentó este lunes la sexta versión de su modelo de predicción meteorológica WeatherMesh, que asegura superar en precisión al sistema del Centro Europeo de Predicción Meteorológica a Plazo Medio (ECMWF) en varias variables clave, entre ellas la temperatur
Stanford, una de las universidades más prestigiosas del mundo en ciencias de la computación, ha puesto en marcha el curso CS336, una asignatura singular que propone a los estudiantes construir un modelo de lenguaje de gran tamaño (LLM) desde cero, replicando el espíritu de los legendarios cursos de
Expanse es una herramienta respaldada por Y Combinator en su promoción P26 que aborda un problema estructural de los centros de datos: la baja utilización efectiva de la capacidad de cómputo. Sus fundadores, Ismaeel, Eren, Yafet y Nikodem, con experiencia previa en fondos cuantitativos y grandes ins
Los modelos de lenguaje basados en Transformers han revolucionado la inteligencia artificial, pero enfrentan un cuello de botella crítico: su mecanismo de atención no escala eficientemente con el aumento de la longitud del contexto. Este artículo, titulado "Language Models Need Sleep", propone una s
El artículo "The Eternal Sloptember" plantea una crítica contundente a la adopción generalizada de agentes de IA en el desarrollo de software, argumentando que podría ser un error costoso en la historia de la informática. El autor, un desarrollador experimentado, explica que estos agentes no "progra
La optimización del rendimiento en modelos de aprendizaje profundo a menudo se reduce a una colección de trucos ad-hoc sin fundamento, como instalar versiones específicas de PyTorch o usar operaciones in-place. Sin embargo, para lograr un rendimiento óptimo y sostenible, es crucial entender los prin
Este artículo de investigación revela una vulnerabilidad crítica en los sistemas de seguridad diseñados para proteger agentes LLM (Large Language Models). Los autores demuestran que los actuales detectores de inyección de prompts, usados para defender estos sistemas, fallan estrepitosamente cuando l
CODA es una nueva abstracción de kernel GPU que revoluciona la forma de ejecutar los componentes no attention de los Transformers. El problema que resuelve es fundamental: mientras que las operaciones de multiplicación de matrices (GEMM) están altamente optimizadas y utilizan eficientemente la memor
En 2024, una investigadora independiente abandonó su trabajo en una empresa FAANG para dedicarse a la investigación de inteligencia artificial. Para llevar a cabo sus experimentos de aprendizaje profundo e inferencia en modelos de lenguaje, necesitaba un servidor GPU potente. Después de investigar o
Lance es un modelo de inteligencia artificial desarrollado por ByteDance que alcanza un hito importante en el campo de la IA multimodal: lograr capacidades de generación, edición y entendimiento de imágenes y videos dentro de un únicoframework unificado, utilizando únicamente 3 mil millones de parám
Los transformers autorregresivos son la arquitectura fundamental que permite a los modelos de lenguaje grande (LLMs) generar texto token a token, prediciendo cada siguiente palabra basándose en todo lo previamente generado. Este proceso se divide en dos fases: prefill (preparación) y decode (generac
El PyTorch Landscape es una plataforma web interactiva desarrollada por la PyTorch Foundation que funciona como un catálogo visual y organizado de todas las herramientas, bibliotecas, proyectos y recursos que conforman el ecosistema PyTorch. Este landscape permite a desarrolladores, investigadores y
El aprendizaje continuo representa uno de los mayores desafíos en el desarrollo de modelos de inteligencia artificial. Actualmente, los sistemas de IA pueden aprender nuevas tareas, pero suelen olvidar lo que sabían anteriormente este fenómeno se conoce como 'olvido catastrófico'. El artículo presen
Se ha presentado Orthrus, un nuevo framework de inteligencia artificial que combina la precisión de los modelos de lenguaje grandes autoregresivos con la velocidad de generación paralela de los modelos de difusión. El sistema, desarrollado por el investigador Chiennv y disponible en HuggingFace, log
Nvidia y Unsloth han colaborado para acelerar el entrenamiento de modelos de lenguaje grandes (LLM) en un 25%, según un anuncio reciente. La optimización se centra en la eliminación de cuellos de botella ocultos en el proceso de entrenamiento, específicamente en tareas de metadatos y la reutilizació
Este artículo, basado en la obra de Borges y Locke, explora una teoría sobre el funcionamiento del aprendizaje profundo (Deep Learning) que desafía las explicaciones tradicionales. Borges, a través de su personaje Funes, ilustra cómo la capacidad de recordar todo (datos sin filtrar) impide el pensam
El entrenamiento de modelos de inteligencia artificial (IA) de vanguardia, como los grandes modelos de lenguaje (LLM), tradicionalmente requiere sistemas altamente sincronizados y acoplados, lo que implica una logística compleja a gran escala. Google DeepMind ha presentado **Decoupled DiLoCo (Distri
TIPSv2 representa una nueva generación de modelos de codificación de imágenes y texto, diseñados para mejorar el rendimiento en una amplia gama de tareas multimodales y de visión artificial. El núcleo de la innovación reside en una observación sorprendente: la destilación (un proceso de aprendizaje
Este artículo, publicado en arXiv, plantea una idea revolucionaria: la emergencia de una **teoría científica del aprendizaje profundo (Deep Learning)**. Actualmente, el Deep Learning se basa en gran medida en la experimentación y la optimización empírica, más que en principios teóricos sólidos. Este
Un análisis reciente realizado por Dylan Castillo revela una disminución en la presencia de investigaciones sobre modelos de lenguaje grandes (LLM) en Hacker News (HN), una plataforma popular entre programadores y entusiastas de la tecnología. Utilizando a Claude, un asistente de IA, Castillo rastre
Los Modelos de Lenguaje Grandes (LLMs), como ChatGPT, han revolucionado la forma en que interactuamos con la tecnología. Pero, ¿cómo funcionan realmente? Este resumen explica el proceso, desde los datos brutos hasta la creación de un asistente conversacional. **¿Qué son y por qué son importantes?*
DeepSeek-V4 es una nueva generación de modelos de lenguaje de gran escala (LLM) desarrollados por DeepSeek AI, que se destacan por su capacidad para procesar contextos extremadamente largos, hasta un millón de tokens. Esto representa un avance significativo, ya que la mayoría de los LLM tradicionale
I-DLM (Introspective Diffusion Language Models) representa un avance significativo en el campo de los modelos de lenguaje, abordando una limitación clave de los modelos de difusión: su inferior rendimiento en comparación con los modelos autoregresivos (AR) tradicionales. Los modelos de difusión, a d
El artículo "The Future of Everything is Lies, I Guess" explora la realidad detrás de la actual ola de entusiasmo por la "Inteligencia Artificial" (IA), argumentando que lo que se conoce como IA son, en realidad, sofisticadas tecnologías de aprendizaje automático (ML) capaces de procesar y generar g
El entrenamiento de modelos de lenguaje grandes (LLMs), como GPT-3 o LaMDA, es un desafío computacional enorme. Estos modelos pueden tener cientos de miles de millones de parámetros, lo que requiere una cantidad significativa de memoria y potencia de cálculo. Tradicionalmente, el entrenamiento de es
El campo de la inteligencia artificial, específicamente el aprendizaje automático, ha logrado avances significativos en la capacidad de los modelos de lenguaje para 'razonar'. Tradicionalmente, este razonamiento se ha logrado a través de técnicas de aprendizaje por refuerzo (RL), donde el modelo apr
Este proyecto, llamado "thereisnospoon", es un recurso único para ingenieros que buscan comprender los sistemas de aprendizaje automático (ML) de una manera similar a como comprenden el desarrollo de software tradicional. No es un tutorial o un libro de texto, sino un 'primer' que construye un model
Attention Residuals (AttnRes) es una innovadora técnica que optimiza las conexiones residuales en los Transformers, una arquitectura fundamental en modelos de lenguaje grandes (LLMs) como GPT. Tradicionalmente, las conexiones residuales simplemente suman la salida de cada capa con una ponderación u
Este artículo de Q Labs describe un avance significativo en la eficiencia del uso de datos en el entrenamiento de modelos de lenguaje, logrando una mejora de 10 veces utilizando su técnica 'NanoGPT Slowrun'. Esto desafía las leyes de escalamiento convencionales, como las propuestas por Chinchilla, q
El entrenamiento de modelos de lenguaje (LLM) está enfrentando un problema creciente: la necesidad de cantidades exponencialmente mayores de datos para seguir mejorando. La disponibilidad de texto natural de alta calidad se proyecta que se agotará en 2028, y el texto de internet está contaminado con
Este texto explora la paradoja de los benchmarks en el aprendizaje automático (Machine Learning, ML). Los benchmarks, que consisten en dividir los datos en conjuntos de entrenamiento y prueba para evaluar modelos, son la piedra angular del progreso en el campo, pero también son objeto de críticas si
Este artículo explora una técnica innovadora para mejorar el razonamiento de los modelos de lenguaje, inspirada en el éxito de algoritmos de búsqueda en árbol como AlphaZero en juegos de mesa. La idea central es aplicar la 'Tree Search Distillation' (Destilación de Búsqueda en Árbol) a modelos de le
Este artículo explora los desafíos encontrados al intentar portar el algoritmo Flash Attention, optimizado para GPUs con el lenguaje Triton, a un TPU (Tensor Processing Unit). El objetivo era aprovechar la potencia gratuita de los TPUs ofrecidos en Colab. La experiencia reveló que la transición no f
Helios es un modelo de inteligencia artificial revolucionario que permite la generación de vídeos largos en tiempo real, un avance significativo en el campo de la generación de contenido visual. Hasta ahora, la creación de vídeos extensos con IA ha sido un proceso lento y costoso, requiriendo una gr
El campo de la inteligencia artificial, y en particular el modelado del lenguaje, enfrenta un desafío creciente: la escasez de datos. Si bien la capacidad de cómputo ha aumentado exponencialmente, la cantidad de datos de entrenamiento disponibles no sigue el mismo ritmo. Esto crea un cuello de botel
Este artículo de investigación explora un descubrimiento fascinante sobre cómo funcionan los modelos de lenguaje grandes (LLMs). Tradicionalmente, se ha creído que los LLMs adoptan diferentes 'personalidades' o comportamientos a través de técnicas externas como el ajuste fino, el uso de indicaciones
El programa "AI & Beyond Internship Incubator" de Bitmovin (verano de 2026) es una iniciativa de formación intensiva diseñada para estudiantes y recién graduados interesados en la inteligencia artificial (IA) y sus aplicaciones, especialmente en el contexto del procesamiento de video y streaming. Au
Los Modelos de Lenguaje Grandes (LLMs), como GPT-4 o Gemini, han demostrado una capacidad asombrosa para razonar y resolver problemas, logrando resultados impresionantes en diversas tareas. Sin embargo, a pesar de estos avances, persisten fallos de razonamiento significativos, incluso en escenarios
Este artículo introduce PyTorch, un framework de aprendizaje profundo de código abierto desarrollado originalmente por Meta AI y ahora parte de la Linux Foundation. PyTorch es fundamental para el desarrollo de modelos de machine learning, y su comprensión es crucial para cualquier persona que trabaj
El artículo "Attention is All You Need" introduce una nueva arquitectura de red neuronal llamada Transformer, que revolucionó el campo del procesamiento del lenguaje natural y más allá. Tradicionalmente, los modelos de secuencia a secuencia, como los utilizados en traducción automática, se basaban e
Este artículo explica de manera visual y accesible el funcionamiento básico de las redes neuronales, inspiradas en las redes neuronales biológicas. La idea central es desmitificar la inteligencia artificial (IA) y proporcionar una comprensión fundamental de cómo operan estos sistemas.
