ONNX Runtime: acelerador de inferencia y entrenamiento para machine learning

ONNX Runtime es un acelerador de inferencia y entrenamiento para machine learning que opera de forma cruzada en múltiples plataformas. Su objetivo principal es mejorar la experiencia del cliente y reducir los costos mediante la optimización del rendimiento, soportando modelos de frameworks de aprend

Haru-4B: modelo de diálogo continuo multilingüe de baja latencia

Haru-4B es un modelo de lenguaje de base de 4.000 millones de parámetros diseñado para el diálogo hablado continuo de baja latencia, capaz de escuchar y hablar simultáneamente. Desarrollado por Higurashi AI, este modelo se preentrenó para funcionar como una base para investigación, ofreciendo una ar

Guía técnica sobre las encodings posicionales en los LLM modernos

Este artículo técnico explora los mecanismos mediante los cuales los modelos de lenguaje de gran escala (LLM) codifican y procesan la información de posición de los tokens. A diferencia de las explicaciones superficiales, el texto ofrece un recorrido didáctico que combina ejemplos visuales, cálculos

MACaQ: cuantización agnóstica de modelo para inferencia local y multimodal

MACaQ es una herramienta de cuantización de alto rendimiento diseñada para permitir la inferencia local de modelos de lenguaje, imágenes, video y audio sin necesidad de ajustar parámetros específicos de cada arquitectura. A diferencia de los métodos tradicionales, MACaQ opera de forma agnóstica al m

Guía práctica para publicar un artículo en SIGGRAPH desde cero

Este artículo detalla la trayectoria de un desarrollador que, tras una década de estudio autodidacta en machine learning, logró publicar un preprint en SIGGRAPH 2026 sobre un generador de terreno procedural basado en modelos de difusión. El autor, quien comenzó programando a los 13 años, describe su

Google lanza TPU 8tx y 8i Max para la era agéntica

Google ha anunciado el lanzamiento de dos nuevas variantes de sus procesadores Tensor Processing Units (TPU) de la octava generación: el TPU 8tx y el TPU 8i Max. Esta expansión marca un hito en la estrategia de infraestructura de inteligencia artificial de la compañía, diseñada específicamente para

NeuroStudio: estudio de IA autoalojado en Go para entrenamiento local

NeuroStudio es un estudio de desarrollo de inteligencia artificial de código abierto y autoalojado, diseñado para el entrenamiento, ajuste fino y despliegue de modelos de aprendizaje automático localmente. Inspirado en Teachable Machine, esta herramienta permite a los usuarios importar datos, entren

Curso de 8 videos para construir modelos de razonamiento desde cero

Sebastián Raschka ha publicado una serie de ocho videos de 11 horas que detalla la implementación de modelos de razonamiento desde cero utilizando Python y PyTorch. Este recurso educativo, que acompaña a su libro 'Build a Reasoning Model (From Scratch)', se centra en el desarrollo de capacidades de

Nanoserve: motor de inferencia de LLM en PyTorch con caché paged

Nanoserve es un motor de inferencia para modelos de lenguaje de gran escala (LLM) escrito desde cero en PyTorch, diseñado para ofrecer un rendimiento comparable al de vLLM. El proyecto, que cuenta con aproximadamente 1.600 líneas de código, sirve modelos como Qwen3-0.6B mediante una API compatible c

vLLM TorchTPU: backend nativo de PyTorch para Google Cloud TPUs

vLLM TorchTPU es un plugin de plataforma para vLLM que permite ejecutar modelos definidos en PyTorch sobre Google Cloud TPUs mediante TorchTPU. Su objetivo principal es ofrecer la misma experiencia de usuario y funcionalidad que en otras plataformas, sin necesidad de modificar el código de los model

PyTorch 2.15 optimiza el backend MPS para Mac con FP8 y MoE

El equipo de PyTorch de Hugging Face ha lanzado la versión 2.15, una actualización significativa para el backend MPS (Metal Performance Shaders) en macOS que resuelve limitaciones de rendimiento y memoria en la ejecución de modelos de lenguaje y generación de video. La principal novedad es la incorp

Hugging Face integra soporte nativo de TPU en PyTorch

Hugging Face ha anunciado la integración del soporte nativo de las unidades de procesamiento de tensores (TPU) en su ecosistema, permitiendo ejecutar modelos de Transformers, Diffusers y Kernels directamente en hardware de Google sin necesidad de intermediarios. Esta novedad elimina la dependencia d

Hugging Face lanza TorchNeuron para ejecutar modelos en chips Trainium

Hugging Face ha presentado TorchNeuron, un plugin para PyTorch que permite ejecutar modelos de inteligencia artificial en los chips AWS Trainium con una interfaz nativa y simplificada. Disponible desde el 20 de octubre de 2026 en beta pública, esta herramienta elimina la necesidad de usar compilador

Detectando la manipulación de pesos en modelos de IA mediante Stealthium

El artículo técnico detalla las vulnerabilidades de seguridad asociadas a los ataques Rank-One Model Editing (ROME), donde un módulo malicioso en Python altera los pesos de un modelo de inteligencia artificial en la memoria de la GPU sin modificar el disco. A diferencia de las herramientas de seguri

AWS lanza TorchNeuron para competir con Nvidia en chips de IA

Amazon Web Services (AWS) ha lanzado TorchNeuron, una herramienta de desarrollo que permite a las startups de inteligencia artificial migrar sus aplicaciones a los chips Trainium de Amazon sin necesidad de reescribir código. Esta iniciativa busca desmantelar la ventaja de software que Nvidia ha acum

STROT: síntesis de código con LLMs en tiempo de compilación

STROT es una herramienta de software que permite a los desarrolladores definir la lógica de clasificación, puntuación y enrutamiento de datos utilizando un modelo de lenguaje de gran escala (LLM) una sola vez, en tiempo de compilación. A diferencia de los sistemas de inferencia en tiempo de ejecució

vramkit: compresión de pesos y KV-cache para LLMs en MacBook

vramkit es una herramienta de código abierto diseñada para reducir el consumo de memoria VRAM durante la inferencia de modelos de lenguaje grandes (LLM). El proyecto, desarrollado y validado íntegramente en un MacBook con Apple Silicon, ofrece dos técnicas principales: un codificador de pesos sin pé

PyTorch reduce el uso de RAM en un 20% con un nuevo solver de memoria

PyTorch ha introducido un nuevo solver de memoria, dp_knapsack_sliding_hirschberg, que permite reducir el consumo máximo de RAM durante la planificación de memoria en un factor de 20. Esta mejora se activa mediante la configuración torch._functorch.config.activation_memory_budget_solver=dp_knapsack_

TokenSpeed: motor de inferencia de LLMs de código abierto

TokenSpeed es un motor de inferencia para modelos de lenguaje de gran escala (LLM) de código abierto, diseñado específicamente para cargas de trabajo agénticas. Su objetivo es ofrecer un rendimiento comparable al de TensorRT-LLM, pero con la usabilidad y la facilidad de desarrollo de vLLM. La arquit

Intel lanza GPU D270 optimizada para inferencia en centros de datos

Intel ha presentado la GPU D270, una unidad de procesamiento gráfico diseñada específicamente para la inferencia de modelos de inteligencia artificial en entornos de centros de datos. Este dispositivo se posiciona como una solución para la era de la IA agéntica, que exige manejar contextos más largo

Guía técnica para ejecutar Qwen/Qwen-Image-2.1-Turbo en Hugging Face

Qwen/Qwen-Image-2.1-Turbo es un checkpoint acelerado de la arquitectura Qwen-Image-2.1, diseñado para la generación de imágenes a partir de texto y la edición de imágenes. Este modelo opera con 8 pasos de denoising y mantiene la misma arquitectura visual de 7B parámetros que su predecesor, permitien

TerrainSR genera terreno de alta resolución a partir de datos de 100 metros

TerrainSR es un modelo de inteligencia artificial diseñado para generar datos de altitud de terreno de alta resolución a partir de conjuntos de datos de baja resolución. El sistema está entrenado específicamente con pares de datos que pasan de una resolución de 100 metros a 10 metros, permitiendo la

rGPU permite ejecutar PyTorch y CUDA en GPUs remotas desde el cliente

rGPU es una herramienta de software diseñada para ejecutar operaciones de GPU en máquinas NVIDIA remotas mientras la aplicación cliente permanece localmente. Su objetivo principal es permitir a los desarrolladores mantener el control sobre sus datos y código sin necesidad de instalar drivers CUDA en

Ablitación dinámica con Engram para suprimir rechazos en LLMs

La ablitación de pesos tradicionales en modelos de lenguaje de gran escala (LLM) altera permanentemente las matrices de parámetros, lo que puede degradar el rendimiento en tareas no relacionadas con la seguridad. Para evitar esto, se presenta una técnica de ablitación dinámica que utiliza la arquite

InstinctFlash: runtime de alto rendimiento para modelos de robótica

InstinctFlash es un runtime de alto rendimiento diseñado para la inferencia de modelos de robótica, que permite desplegar modelos complejos en hardware de escritorio y dispositivos embebidos como Jetson Thor. La herramienta, desarrollada por General-Instinct, unifica la gestión de ocho familias de m

Foundation Model Engineering: guía técnica para arquitectos de IA

Foundation Model Engineering es un texto técnico diseñado para ingenieros de inteligencia artificial y lectores orientados a la investigación que buscan comprender el funcionamiento interno de los modelos de fundación modernos. A diferencia de las guías superficiales, este recurso explora la evoluci

OpenArch: implementaciones de PyTorch de arquitecturas LLM modernas

OpenArch es un repositorio de código abierto que ofrece implementaciones de PyTorch de las arquitecturas de modelos de lenguaje de gran escala (LLM) más recientes, escritas desde cero para priorizar la legibilidad y el aprendizaje sobre el rendimiento de producción. El proyecto se basa en el catálog

Guía interactiva para construir un LLM desde cero

LLM Visualizer es una plataforma interactiva diseñada para facilitar la comprensión profunda de los Modelos de Lenguaje Grandes (LLM) mediante la construcción práctica de un modelo funcional desde sus fundamentos. A diferencia de los tutoriales teóricos, esta herramienta opera como un laboratorio en

Optimizar Automatic1111 en Apple Silicon con kernels Metal a medida

Un desarrollador detalla cómo aceleró Automatic1111 en Macs con chip M1 y M3 Pro manteniendo intacta la interfaz, los checkpoints, las LoRAs, los samplers y la API originales. El punto de partida fue la comparación con Draw Things: una generación corta de cinco pasos con DPM++ SDE Karras y CFG cerca

El mapa completo de PyTorch en una sola página

Esta serie, titulada 'Pérdida, muerte, robots', se propone recorrer todo el código de PyTorch capa por capa hasta que cada línea del día a día deje de ser opaca. La entrada actual, 'El mapa', actúa como índice general: presenta las doce partes que conformarán el recorrido —tensor, autograd, uso diar

vLLM-Kunlun: el plugin de Baidu para ejecutar vLLM en la XPU Kunlun

vLLM-Kunlun es un plugin de hardware mantenido por la comunidad y publicado por Baidu que permite ejecutar el motor de inferencia vLLM sobre la XPU Kunlun (chip Kunlun3 P800). El proyecto se distribuye como un plugin estándar de la plataforma vLLM mediante entry points de Python, lo que evita modifi

PyTorch como lenguaje de referencia y de implementación

PyTorch, el framework de código abierto desarrollado originalmente por Meta y hoy mantenido por la Linux Foundation, atraviesa una transformación conceptual que redefine su lugar en el ecosistema del aprendizaje profundo: ha dejado de ser únicamente una herramienta de implementación para consolidars

Inflect-Micro-v2: TTS local de menos de 10 millones de parámetros

Inflect-Micro-v2 es un modelo de síntesis de voz texto a forma de onda que funciona de forma local, con 9,36 millones de parámetros y 37,53 MB en FP32, y que produce audio mono a 24 kHz. Su autor, Owen, lo ha desarrollado y financiado de forma independiente y lo distribuye en Hugging Face con versio

D-FINE-seg: detección de objetos y segmentación de instancias en tiempo real

D-FINE-seg es un framework de código abierto que amplía el detector de objetos basado en transformers D-FINE con capacidades de segmentación de instancias. El proyecto añade una cabeza de máscara ligera, pérdidas de entrenamiento conscientes de la segmentación (BCE y Dice recortadas por bounding box

Qué hace realmente loss.backward(): una guía paso a paso

Cuando se entrena una red neuronal, la llamada loss.backward() desencadena el mecanismo central del aprendizaje: el cálculo de cuánto debe ajustarse cada parámetro para reducir el error. Este artículo explica, de forma didáctica y desde cero, cómo funciona ese proceso apoyándose en microcrad, un peq

LingBot-Map: modelo fundacional 3D para reconstruir escenas en tiempo real

LingBot-Map es un modelo fundacional 3D feed-forward, publicado en GitHub por el equipo Robbyant, diseñado para reconstruir escenas tridimensionales a partir de secuencias de vídeo en streaming. Su arquitectura se articula en torno al Geometric Context Transformer, un componente que unifica el ancla

Spectral Compute quiere liberar a CUDA del hardware de Nvidia

Spectral Compute, una empresa londinense fundada en 2018 por cuatro ingenieros con 60 años de experiencia combinada en optimización para HPC, desarrolla SCALE, un compilador basado en CLang y LLVM que funciona como sustituto directo de NVCC, el compilador CUDA de Nvidia. La herramienta permite recom

Eliminar las burbujas de GPU en la inferencia de IA: pipelined decoding

El equipo de Moondream analiza en profundidad un problema frecuente en la inferencia de modelos de IA: las llamadas burbujas de GPU, periodos en los que el procesador gráfico permanece inactivo porque la CPU aún no le ha indicado la siguiente tarea. El artículo explica por qué aparecen durante el bu

Anatomía del bucle de entrenamiento en PyTorch: cada línea y sus errores

Construir un bucle de entrenamiento en PyTorch parece sencillo, pero colocar cada instrucción en el orden correcto resulta sorprendentemente frágil: los entrenamientos fallan al converger, arrojan resultados incorrectos o consumen memoria excesiva cuando una línea está mal ubicada. Este artículo des

Sufijos de forma: una convención para nombrar tensores con claridad

Character.AI ha compartido una convención interna, vigente desde 2022, que añade al nombre de cada tensor un sufijo con las letras de sus dimensiones. El objetivo es que cualquier variable revele de un vistazo la forma del tensor con el que se trabaja, sin necesidad de rastrear el código. La regla

La creciente complejidad de los LLM y el retorno de la composabilidad

Los grandes modelos de lenguaje han dejado de ser una pila limpia de módulos Transformer repetidos. Entre 2022 y 2023, en Meta, el trabajo en LLM —que condujo a Llama— contrastaba con la aparatosa complejidad de los sistemas de recomendación. La industria ha corregido esa brecha incorporando a los L

OpenCL y sus alternativas: lecciones de la democratización fallida

El artículo, quinta entrega de la serie "Democratizing AI Compute", escrito por Chris Lattner (cofundador de Modular), analiza por qué OpenCL y otros modelos de programación de GPU portátiles (como SYCL, oneAPI) fracasaron en convertirse en plataformas dominantes para la inteligencia artificial, a p

Función de activación Softmax: qué es y cómo se implementa

La función Softmax es una de las piezas fundamentales en las redes neuronales modernas, especialmente en tareas de clasificación multiclase. Se trata de una función matemática no lineal que convierte un vector de puntuaciones brutas, denominadas logits y que pueden tomar cualquier valor real positiv

Cómo implementar operaciones personalizadas en PyTorch con C++ y CUDA

Esta entrada del blog explica cómo implementar operaciones personalizadas en PyTorch utilizando C++ y CUDA, y cómo integrarlas tanto en modelos de PyTorch como en programas de inferencia compilados con AOTInductor. El ejemplo guía es una convolución identidad mínima que ilustra el ciclo completo: de

Dr. GRPO: un kernel 2,2× más rápido en test, 3× más lento integrado

Este artículo describe el proceso de construir, desde cero, un bucle de entrenamiento de aprendizaje por refuerzo (RL) para modelos de lenguaje grandes, aplicándolo al algoritmo Dr. GRPO sobre el modelo Qwen2.5-0.5B-Instruct y la tarea GSM8K, con una sola GPU A10G. El punto de partida es una observa

Cuándo ocurre fragmentación en el asignador de caché de CUDA

El asignador de caché de CUDA en PyTorch organiza la memoria de la GPU en dos niveles: segmentos (obtenidos mediante cudaMalloc) y bloques (subdivisiones dentro de los segmentos). Aunque la abstracción promete un manejo simple de memoria (asignar reduce la disponible, liberar la aumenta), la impleme

Stanford CS336: un curso para construir un modelo de lenguaje desde cero

Stanford, una de las universidades más prestigiosas del mundo en ciencias de la computación, ha puesto en marcha el curso CS336, una asignatura singular que propone a los estudiantes construir un modelo de lenguaje de gran tamaño (LLM) desde cero, replicando el espíritu de los legendarios cursos de

MiniMax M2.7 supera pruebas en proyectos reales de codificación

El desarrollador Andrey Lukyanenko probó el modelo de inteligencia artificial MiniMax M2.7 en tres flujos de trabajo reales de codificación a través de API, comparándolo con Claude Opus 4.7. Las pruebas incluyeron refactorización de un proyecto PyTorch existente, redacción de notas técnicas para una

Google facilita PyTorch en TPUs con TorchTPU

Google ha anunciado el lanzamiento de TorchTPU, una nueva herramienta que permite a los desarrolladores utilizar de forma nativa y eficiente PyTorch en sus Tensor Processing Units (TPUs). TorchTPU aborda la creciente complejidad de construir modelos de IA a gran escala, que ahora requieren sistemas

Trellis-2: Modelado 3D ahora en Macs Apple Silicon

Microsoft's vanguardia imagen-a-modelo 3D, TRELLIS.2, puede ahora ejecutarse de forma nativa en Macs con Apple Silicon sin necesidad de una GPU NVIDIA, gracias a una adaptación desarrollada por Shivampkumar y publicada en GitHub. Este desarrollo significativo aprovecha PyTorch MPS, permitiendo a los

rocm y strix halo: optimiza la memoria de tu gpu

Un usuario ha compartido su experiencia al configurar ROCm y Strix Halo para optimizar el uso de memoria en un sistema con 128GB de RAM compartida entre la CPU y la GPU. El proceso, realizado en Ubuntu 24.04 LTS, incluyó una actualización del BIOS (necesaria para la detección de la GPU) y ajustes en

Atención Híbrida: Acelera modelos de lenguaje

El proyecto presentado explora una nueva arquitectura de atención llamada 'Atención Híbrida' para modelos de lenguaje, con un enfoque particular en la generación de código Rust. El objetivo principal es acelerar significativamente la inferencia sin comprometer la calidad del modelo. Tradicionalmente

Google mejora su modelo de predicción de series temporales

Google Research ha lanzado TimesFM 2.5, una versión mejorada de su modelo de predicción de series temporales. El modelo, disponible en GitHub, se basa en una arquitectura 'decoder-only' y está diseñado para ofrecer pronósticos más precisos y eficientes. TimesFM 2.5 reduce el número de parámetros de

NumKong: Biblioteca Numérica de Alto Rendimiento

Ash Vardanian ha anunciado el relanzamiento de su proyecto SimSIMD bajo el nuevo nombre NumKong, una biblioteca de computación numérica de alto rendimiento. NumKong abarca aproximadamente 200.000 líneas de código y documentación en siete lenguajes de programación, ofreciendo una colección comparable

IA optimiza GPUs: nuevo agente agiliza el rendimiento

RightNow AI ha presentado AutoKernel, un agente de inteligencia artificial que automatiza la optimización de kernels de GPU, inspirándose en el trabajo de autoresearch de Andrej Karpathy. AutoKernel toma cualquier modelo PyTorch, identifica los kernels de cuello de botella, los optimiza de forma aut

Entrenar IA de código abierto: desafíos inesperados

Un ingeniero de Workshop Labs, Addie Foote, relata los desafíos encontrados al intentar entrenar y servir modelos de lenguaje grandes con pesos abiertos, específicamente el modelo Kimi-K2-Thinking de Moonshot AI. El objetivo era post-entrenar el modelo, que cuenta con 1 billón de parámetros y está c

CPU innovadora opera dentro de una GPU

Investigadores han desarrollado una CPU innovadora que opera completamente dentro de una GPU, eliminando la necesidad de interacción con la CPU principal del sistema. Este prototipo, denominado NeuralCPU, ejecuta instrucciones ARM64 reales y utiliza tensores de PyTorch para almacenar registros, memo

Talos: Nuevo Hardware Acelera Redes Neuronales

Un equipo de ingenieros ha desarrollado 'Talos', un acelerador de hardware personalizado basado en FPGA diseñado para ejecutar redes neuronales convolucionales (CNN) con una eficiencia extrema. A diferencia de las implementaciones de software tradicionales, Talos elimina la sobrecarga de tiempo de e

Redes neuronales: Lean busca mayor seguridad

El auge de las redes neuronales en aplicaciones críticas, como sistemas de seguridad y control, ha revelado una brecha preocupante: la verificación y el análisis de estas redes a menudo se realizan *fuera* del entorno de programación donde se definen y ejecutan. Esta separación crea una desconexión

PyTorch: guía esencial para aprendizaje profundo

Este artículo introduce PyTorch, un framework de aprendizaje profundo de código abierto desarrollado originalmente por Meta AI y ahora parte de la Linux Foundation. PyTorch es fundamental para el desarrollo de modelos de machine learning, y su comprensión es crucial para cualquier persona que trabaj

Owning a $5M data center

Comma.ai, una empresa de conducción autónoma, ha publicado un artículo detallando cómo opera su propio centro de datos de 5 millones de dólares, en lugar de depender de servicios en la nube. Argumentan que tener control sobre su propia infraestructura de computación fomenta una mejor ingeniería, inc