18 noticias
El mecanismo de atención bloqueada dispersa (block-sparse attention) ofrece una alternativa eficiente al costo cuadrático de la atención auto en modelos de lenguaje de gran escala, pero su implementación práctica se ve limitada por la complejidad computacional en la selección de bloques. El artículo
InferQuest es una aplicación web gratuita, abierta y sin ánimo de lucro orientada a formar ingenieros de inferencia y de entrenamiento de modelos de lenguaje grandes. Su diseño parte de un análisis del mercado laboral y se estructura en torno a dos itinerarios —despliegue rápido y económico de LLMs
Netflix ha optado por ejecutar internamente la pila completa de servicio de modelos de lenguaje grandes (LLM), desde el despliegue hasta la inferencia, dentro de su entorno de producción habitual en lugar de un silo de aprendizaje automático separado. El artículo, firmado por los equipos Model Runti
Un participante quedó en el puesto 12 de 183 en una competición de auto-research organizada por GPU Mode y Core Automation, en la que logró una aceleración de 232 veces sobre la solución de referencia al implementar la factorización QR de Householder por lotes en matrices cuadradas FP32 sobre GPU. L
El proyecto QEMU ha presentado Triton, un controlador gráfico para invitados Windows que, combinado con la capa de virtualización Neptune, ofrece aceleración 3D nativa basada en DirectX 11 dentro de máquinas virtuales. El anuncio, publicado en el blog técnico del proyecto, explica por qué los enfoqu
Meta entra de lleno en la carrera de los agentes de programación con el lanzamiento en beta de Muse Code, una herramienta de codificación para terminal impulsada por su nuevo modelo Muse Spark 1.2. El anuncio, realizado esta semana por el CEO Mark Zuckerberg, supone un paso estratégico para una comp
La inferencia de modelos de lenguaje de gran tamaño entra en una nueva fase con las aplicaciones de IA agéntica: una sola petición puede alcanzar un millón de tokens al sumar instrucciones largas, llamadas a herramientas y resultados de recuperación. Durante la generación, cada token nuevo debe aten
El repositorio t-head/triton-for-sail es un fork del compilador y lenguaje Triton que añade un backend específico para los procesadores PPU desarrollados por T-Head Semiconductor, utilizados en su SDK SAIL. Está pensado para dos generaciones de Tensor Core: PPU0010, con instrucciones MMAv1, y PPU001
Phobos es un lenguaje experimental de kernels creado por el desarrollador João como ejercicio personal de aprendizaje sobre la programación de bajo nivel en GPUs NVIDIA. Inspirado en Triton, el proyecto se plantea como una alternativa minimalista que compila directamente a PTX, el lenguaje ensamblad
Steam Controller Auto-Charge es una aplicación web de código abierto que guía de forma autónoma un Steam Controller hasta su base de carga magnética. Combina visión por computador basada en flujo óptico con telemetría a través de WebHID para localizar el mando, orientarlo hacia la puck de carga y co
Los grandes modelos de lenguaje han dejado de ser una pila limpia de módulos Transformer repetidos. Entre 2022 y 2023, en Meta, el trabajo en LLM —que condujo a Llama— contrastaba con la aparatosa complejidad de los sistemas de recomendación. La industria ha corregido esa brecha incorporando a los L
Themida y CodeVirtualizer, desarrollados por Oreans Technology, son protectores comerciales que traducen código nativo a una máquina virtual interna con un juego de instrucciones propio, un esquema que también emplea VMProtect y que comparten vxlang, EagleVM, Covirt y BinProtect. Este artículo descr
FPSan es una nueva herramienta desarrollada por Yuen Hung Chan y Pawel Szczerbuk como un paso decompilación para el compilador Triton. Su propósito es verificar la equivalencia algebraica de programas escritos en Triton que involucran aritmética de punto flotante. El problema fundamental es que las
El proyecto presentado explora una nueva arquitectura de atención llamada 'Atención Híbrida' para modelos de lenguaje, con un enfoque particular en la generación de código Rust. El objetivo principal es acelerar significativamente la inferencia sin comprometer la calidad del modelo. Tradicionalmente
NVIDIA ha presentado Gluon, una extensión del lenguaje y compilador Triton diseñada para mejorar el rendimiento de las GPU. Gluon ofrece un mayor control a los desarrolladores al exponer más detalles internos del compilador, permitiendo optimizaciones más precisas y un mayor potencial de rendimiento
Este artículo explora los desafíos encontrados al intentar portar el algoritmo Flash Attention, optimizado para GPUs con el lenguaje Triton, a un TPU (Tensor Processing Unit). El objetivo era aprovechar la potencia gratuita de los TPUs ofrecidos en Colab. La experiencia reveló que la transición no f
RightNow AI ha presentado AutoKernel, un agente de inteligencia artificial que automatiza la optimización de kernels de GPU, inspirándose en el trabajo de autoresearch de Andrej Karpathy. AutoKernel toma cualquier modelo PyTorch, identifica los kernels de cuello de botella, los optimiza de forma aut
VectorWare ha anunciado un hito significativo en la programación de GPU: la capacidad de utilizar las características `async/await` de Rust directamente en la GPU. Esto representa un avance importante hacia la visión de la empresa de facilitar a los desarrolladores la creación de aplicaciones de alt
