hardware · 6 menciones
Ejecutar dos modelos de lenguaje grandes de forma coresidente en una sola GPU exige un cálculo de memoria preciso, algo que el parámetro gpu_memory_utilization de vLLM no resuelve por sí solo. Este artículo recoge la experiencia práctica de desplegar Qwen3-Next-80B-Instruct-FP8 y Qwen3-4B-Instruct-2
El creador de Redis, Antirez, lanzó DwarfStar 4 (DS4), un proyecto de integración de modelo único para experiencia de IA local que ha alcanzado una popularidad inesperada. DS4 utiliza DeepSeek v4 Flash, un modelo cuasi-fronterizo que funciona con cuantización de 2/8 bits, permitiendo ejecutarlo en s
Nvidia y Unsloth han colaborado para acelerar el entrenamiento de modelos de lenguaje grandes (LLM) en un 25%, según un anuncio reciente. La optimización se centra en la eliminación de cuellos de botella ocultos en el proceso de entrenamiento, específicamente en tareas de metadatos y la reutilizació
Una startup llamada TiinyAI ha generado controversia con su Kickstarter para el "Pocket Lab", un dispositivo que promete ejecutar modelos de lenguaje grandes (LLM) de hasta 120 mil millones de parámetros localmente por $1,299. Un periodista ha investigado a fondo la empresa, utilizando imágenes de m
Unsloth AI ha lanzado Unsloth Studio (Beta), una interfaz de usuario web de código abierto y sin necesidad de programación para entrenar, ejecutar y exportar modelos de IA de código abierto localmente. La herramienta, disponible para Windows, Linux, WSL y MacOS (con soporte limitado para entrenamien
Google anunció que lanzará la versión de Chrome para dispositivos Linux con arquitectura ARM64 en el segundo trimestre de 2026. Esta expansión sigue a la implementación exitosa en macOS con chip Arm en 2020 y en Windows en 2024. La decisión responde a la creciente demanda de una experiencia de naveg
