20 noticias
Esta herramienta permite ejecutar modelos de lenguaje de gran escala (LLM) directamente en el navegador del usuario, facilitando la comparación entre dos métodos de obtención de probabilidades de decisión. El sistema opera en modo local, utilizando GPUs del equipo para procesar modelos como MiniCPM5
Un análisis técnico detallado ha identificado un error de rendimiento en el motor neuronal (ANE) de los chips Apple M3 que reduce drásticamente la velocidad de transferencia de datos. Cuando el tamaño total de los pesos es un múltiplo entero de 1 MiB, la tasa de transmisión de DRAM cae de los 45-60
Un sistema con ocho GPU NVIDIA RTX PRO 6000 Blackwell (96 GB GDDR7 cada una, 768 GB agregados) y un CPU AMD EPYC 9555 (64 núcleos, 128 hilos, Zen 5) ofrece alternativas de alto paralelismo a un coste muy inferior al de las plataformas HGX B200 o B300 con NVLink. El artículo analiza por qué fragmenta
CarWatch es un proyecto de código abierto que convierte un Raspberry Pi 5 instalado en el coche en un agente conversacional completamente offline, capaz de participar en salas de chat, responder preguntas y avisar de incidentes. La placa ejecuta en local un modelo de 35.000 millones de parámetros (Q
Inco AI presenta DFlash 2, una evolución de su técnica de decodificación especulativa que aumenta en más de un 20% la producción de tokens por cada pasada de verificación del modelo objetivo, con apenas un 1% de latencia adicional y sin alterar la distribución de salida. En las pruebas internas, la
El ingeniero Michał Piszczek documenta el proceso seguido para ejecutar el modelo denso Qwen3 27B con su contexto nativo completo de 262.144 tokens, entrada multimodal y decodificación especulativa MTP sobre una sola GPU NVIDIA RTX PRO 4000 Blackwell SFF de 24 GB. El sistema final, bautizado Qwen3.8
Swiftlet es un runtime escrito en Swift y Metal que permite ejecutar modelos MoE híbridos de la familia Qwen3-Next y Qwen3.5/3.6 en hardware Apple convencional. Su estrategia consiste en mantener residente en memoria únicamente el núcleo denso del modelo (atención, proyecciones DeltaNet, routers, ex
AirLLM es una biblioteca de Python de código abierto que reduce drásticamente el consumo de memoria durante la inferencia de modelos de lenguaje de gran tamaño, permitiendo ejecutar un modelo de 70B parámetros en una única GPU con apenas 4 GB de VRAM, sin recurrir a cuantización, destilación ni poda
Un análisis extenso y crítico del agente de programación OpenCode, la herramienta de código abierto de este tipo más popular en GitHub con 161.000 estrellas. El autor distingue entre problemas molestos —fallos repetidos de caché de prompt al reevaluar el prompt del sistema en cada turno SSE, al poda
Un equipo independiente ha replicado en modelos abiertos el hallazgo del paper 'Verbalizable-Workspace' de Anthropic, que mostraba que las capas medias de una red neuronal funcionan como un diccionario de direcciones que controlan causalmente la salida del modelo. Los autores miden cuatro propiedade
El repositorio ai-trains-ai, publicado por Danau5tin, implementa una canalización de código abierto con dos bucles de aprendizaje por refuerzo (RL) independientes que se entrenan mutuamente. En el bucle externo, un agente entrenador basado en Qwen3-35B-A3B con un adaptador LoRA aprende, mediante GRP
El equipo de humans& presenta una receta de aprendizaje por refuerzo (RL) en precisión NVFP4 de 4 bits, desarrollada en colaboración con RadixArk y NVIDIA, que logra mantener la dinámica de entrenamiento en alta precisión y, al mismo tiempo, aprovechar los aumentos de throughput que ofrece el hardwa
Hugging Face ha anunciado una actualización del backend de modelado de transformers dentro de vLLM que permite ejecutar los modelos de Hugging Face a la misma velocidad —o superior— que las implementaciones nativas escritas a mano para vLLM, sin necesidad de portar el código. La mejora se valida con
Este análisis técnico de Doubleword examina un dilema habitual en la inferencia de modelos de lenguaje: cuando se busca aumentar el rendimiento por segundo en una sola GPU, ¿conviene aumentar el tamaño de lote (ancho) o apostar por la decodificación especulativa (profundidad)? El trabajo parte de un
Un equipo de investigación presenta Program-as-Weights (PAW), un paradigma de programación que traduce especificaciones en lenguaje natural en artefactos neuronales compactos ejecutables en local. La propuesta nace de una necesidad concreta: muchas tareas cotidianas —alertar sobre líneas de registro
Un nuevo estudio de aprendizaje automático cuestiona uno de los supuestos más asentados del post-entrenamiento de modelos de lenguaje: que los beneficios del aprendizaje por refuerzo (RL) se distribuyen de forma pareja entre todas las capas del transformer. Los autores demuestran que entrenar una ún
Ejecutar dos modelos de lenguaje grandes de forma coresidente en una sola GPU exige un cálculo de memoria preciso, algo que el parámetro gpu_memory_utilization de vLLM no resuelve por sí solo. Este artículo recoge la experiencia práctica de desplegar Qwen3-Next-80B-Instruct-FP8 y Qwen3-4B-Instruct-2
NVIDIA Labs ha presentado cuTile-rs, un proyecto de investigación que lleva el modelo de propiedad y seguridad de memoria de Rust a la programación de kernels para GPU. La herramienta, publicada en el repositorio NVlabs/cutile-rs, ofrece un lenguaje específico de dominio (DSL) en Rust para escribir
FunASR es un toolkit de código abierto para reconocimiento automático del habla (ASR) desarrollado por ModelScope, la organización de Alibaba DAMO, orientado a escenarios industriales y de producción. La herramienta se posiciona como una alternativa a OpenAI Whisper y a las API de transcripción en l
Se ha presentado Orthrus, un nuevo framework de inteligencia artificial que combina la precisión de los modelos de lenguaje grandes autoregresivos con la velocidad de generación paralela de los modelos de difusión. El sistema, desarrollado por el investigador Chiennv y disponible en HuggingFace, log
