software · 8 menciones
AirLLM es una biblioteca de Python de código abierto que reduce drásticamente el consumo de memoria durante la inferencia de modelos de lenguaje de gran tamaño, permitiendo ejecutar un modelo de 70B parámetros en una única GPU con apenas 4 GB de VRAM, sin recurrir a cuantización, destilación ni poda
DeepSeek consolida en apenas nueve meses una de las hojas de ruta más aceleradas del sector de la inteligencia artificial generativa. Según el registro oficial de cambios de su API, la compañía china transitó desde la versión estable DeepSeek-V2.5 —presentada el 5 de septiembre de 2024— hasta DeepSe
El equipo de humans& presenta una receta de aprendizaje por refuerzo (RL) en precisión NVFP4 de 4 bits, desarrollada en colaboración con RadixArk y NVIDIA, que logra mantener la dinámica de entrenamiento en alta precisión y, al mismo tiempo, aprovechar los aumentos de throughput que ofrece el hardwa
Los desarrolladores, estudiantes y pequeñas empresas que trabajan con presupuestos ajustados ya no tienen por qué resignarse a los modelos de IA más costosos. La diferencia de capacidad entre los modelos de gama alta (Claude Sonnet, GPT-4o, Gemini 1.5 Pro, con precios de 5 a 75 dólares por millón de
Los modelos de lenguaje de gran tamaño (LLM) requieren coordinar muchas GPUs para funcionar. Una de las técnicas clave es el paralelismo de expertos (EP), esencial en los modelos MoE a gran escala. A diferencia de otras formas de paralelismo, cuyas comunicaciones siguen patrones fijos, en EP el rout
Un ingeniero de Workshop Labs, Addie Foote, relata los desafíos encontrados al intentar entrenar y servir modelos de lenguaje grandes con pesos abiertos, específicamente el modelo Kimi-K2-Thinking de Moonshot AI. El objetivo era post-entrenar el modelo, que cuenta con 1 billón de parámetros y está c
Zhipu AI, una empresa china de inteligencia artificial surgida de la Universidad Tsinghua, ha lanzado GLM-5, un modelo de lenguaje grande que se presenta como un competidor directo de OpenAI y Anthropic. GLM-5, la quinta generación de modelos de Zhipu AI, cuenta con aproximadamente 745 mil millones
Moonshot AI ha lanzado Kimi K2.5, un modelo de lenguaje de código abierto de 1 billón de parámetros que utiliza 'agent swarms' (enjambres de agentes) para tareas complejas, ofreciendo una ejecución 4.5 veces más rápida que los modelos de agente único y capacidades de codificación visual a partir de
