18 noticias
La industria de la IA entra en la era de la inferencia y, ante la escasez de centros de datos, varias startups proponen aprovechar la potencia gráfica inutilizada de los PC de los usuarios. Empresas como Far Labs y Evolving Edge han desarrollado aplicaciones, de código abierto según sus responsables
OpenAI presentó esta semana en la conferencia Hot Chips los primeros resultados de rendimiento de Jalapeño, su chip de inferencia de inteligencia artificial desarrollado en colaboración con Broadcom. Las pruebas, realizadas con el benchmark InferenceX de Semianalysis, muestran que el procesador supe
DeepSeek trabaja en un chip de inteligencia artificial propio orientado a tareas de inferencia, según tres fuentes citadas por Reuters. El proyecto, en fase inicial y no confirmado oficialmente por la empresa, busca reducir costes de operación y depender menos de proveedores externos como NVIDIA y H
OpenAI ha presentado Jalapeño, su primer procesador diseñado específicamente para cargas de trabajo de modelos de lenguaje de gran tamaño (LLM). El chip fue desarrollado en colaboración con Broadcom y Celestica en un plazo de nueve meses y representa, según la compañía, un paso clave en su estrategi
# DiffusionGemma: Google DeepMind cambia las reglas del texto y multiplica por cuatro la velocidad en local **Google DeepMind ha presentado DiffusionGemma, el primer modelo abierto de la familia Gemma 4 que abandona la generación autorregresiva. En lugar de escribir token a token de izquierda a der
**Xiaomi ha presentado MiMo-V2.5-Pro-UltraSpeed, una variante de su modelo MoE de 1,02 billones de parámetros (42B activos) capaz de generar hasta ~1200 tokens por segundo sobre un único nodo de 8 GPUs comerciales.** El hito no es solo una cifra de marketing: es la primera vez que un modelo de esca
Kog AI ha lanzado una vista previa técnica de su motor de inferencia, demostrando que las tarjetas gráficas estándar pueden alcanzar velocidades de generación de tokens de hasta 3.000 por segundo. El sistema, probado en configuraciones de 8 tarjetas AMD MI300X y NVIDIA H200, logra estos rendimientos
KVBoost es una nueva librería de código abierto desarrollada por el repositorio Pythongiant que acelera significativamente la inferencia de grandes modelos de lenguaje (LLM) reduciendodrásticamente los requisitos de memoria VRAM. La herramienta解决los principales problemas de rendimiento: los modelos
En 2024, una investigadora independiente abandonó su trabajo en una empresa FAANG para dedicarse a la investigación de inteligencia artificial. Para llevar a cabo sus experimentos de aprendizaje profundo e inferencia en modelos de lenguaje, necesitaba un servidor GPU potente. Después de investigar o
Se ha presentado Orthrus, un nuevo framework de inteligencia artificial que combina la precisión de los modelos de lenguaje grandes autoregresivos con la velocidad de generación paralela de los modelos de difusión. El sistema, desarrollado por el investigador Chiennv y disponible en HuggingFace, log
Un equipo de ingenieros, liderado por Antirez, ha lanzado DeepSeek v4 Flash, un nuevo motor de inferencia optimizado para el modelo de lenguaje DeepSeek V4 Flash. Este motor, denominado 'ds4.c', está diseñado específicamente para este modelo y no es un framework genérico. La principal ventaja radica
Google ha anunciado el lanzamiento de "Redactores de Predicción de Múltiples Tokens (MTP)" para la familia de modelos Gemma 4, una actualización diseñada para acelerar significativamente la inferencia de estos modelos de lenguaje de código abierto. Estos redactores utilizan una arquitectura de decod
La capacidad de los modelos de inteligencia artificial para mantener conversaciones coherentes se ve limitada por el "contexto de ventana", la cantidad de información que pueden procesar simultáneamente. Aunque los modelos actuales pueden manejar entre 128.000 y más de un millón de tokens, su rendim
Samsung ha anunciado un incremento del 30% en los precios de la memoria DRAM para los contratos del segundo trimestre de 2026. Sin embargo, a pesar de este aumento previsto, los mercados minoristas y secundarios están experimentando una inesperada caída de precios. Esta divergencia se debe a varios
Investigadores de Percepta han demostrado la capacidad de ejecutar programas directamente dentro de modelos de lenguaje grandes (LLMs), como los transformers, logrando una velocidad de inferencia exponencialmente más rápida. El avance, anunciado el 11 de marzo de 2026, abre nuevas posibilidades para
Una startup llamada Taalas ha lanzado un chip ASIC que ejecuta el modelo de lenguaje Llama 3.1 8B a una velocidad de inferencia de 17.000 tokens por segundo, lo que equivale a escribir aproximadamente 30 páginas A4 por segundo. La empresa afirma que su chip es 10 veces más barato en costos operativo
Tinfoil ha presentado Modelwrap, una nueva herramienta para verificar la integridad de los modelos de IA, abordando una preocupación creciente en la industria: la falta de transparencia sobre qué modelos se están ejecutando realmente en las APIs de inferencia. Actualmente, los usuarios a menudo no p
Investigadores han desarrollado una nueva técnica llamada Consistency Diffusion Language Models (CDLM) que acelera significativamente la inferencia de modelos de lenguaje de difusión (DLMs). CDLM logra hasta 14.5 veces más velocidad en tareas de matemáticas y programación, sin sacrificar la calidad
