Modelos de pesos abiertos, IA libre e inferencia local
Un artículo interactivo explora las implicaciones de una velocidad de generación de texto de un millón de tokens por segundo en agentes de inteligencia artificial. A través de un experimento mental, el texto analiza cómo esta velocidad extrema afectaría a diferentes tareas, como la escritura de cuen
DwarfStar 4 (ds4) es un motor de inferencia escrito en C diseñado para ejecutar modelos de inteligencia artificial de frontera localmente en máquinas con alta memoria, como Mac, sistemas con CUDA y hardware con ROCm. A diferencia de los ejecutores genéricos, ds4 se centra en un conjunto selecto de f
Red Hat ha publicado un análisis técnico que compara los modelos de decisión de TypeSafe AI, específicamente su modelo Jev, con las técnicas de seguridad tradicionales y los modelos de lenguaje grandes (LLM) como guardrails. El objetivo es determinar si la nueva arquitectura ofrece ventajas reales e
Wagtail CMS ha publicado un informe detallado sobre su intento de utilizar exclusivamente el modelo de lenguaje GLM 5.3 Flash durante todo el mes de septiembre. El objetivo era mantener un control estricto sobre el consumo de recursos, limitando el uso a este modelo eficiente para reducir costes y h
Breadcrumb es una aplicación de software diseñada para ejecutarse íntegramente en el equipo del usuario, priorizando la privacidad y la localización de los datos. Su principal característica es permitir a los usuarios interactuar con modelos de inteligencia artificial instalados localmente en su Mac
Cloudflare/clef es un modelo de lenguaje multimodal de 27.000 millones de parámetros diseñado para la toma de decisiones estructuradas. A diferencia de los modelos de generación de texto libre, Clef procesa estados y esquemas de preguntas tipadas para devolver probabilidades para cada opción permiti
Personal Computing 2.0 es un paradigma de computación que propone devolver la soberanía de los datos al usuario individual, superando las limitaciones de la era de la IA cerrada y las plataformas centralizadas. Este modelo surge como respuesta a la degradación de la web, caracterizada por la prolife
Janus es una herramienta de software escrita en Go que actúa como un router de API para modelos de inteligencia artificial locales. Su principal característica es la capacidad de ejecutar modelos en formato .gguf directamente en la máquina del usuario, utilizando GPU (vía Vulkan para AMD, Intel y NV
Jun Kim, creador y mantenedor del proyecto oMLX, ha unido su carrera a Hugging Face para fortalecer la comunidad de inteligencia artificial local. Esta transición marca el paso de oMLX de un proyecto secundario a un iniciativa plenamente financiada y mantenida, lo que permitirá a Kim dirigir mejor a
Parrot es una aplicación de código abierto y gratuita para macOS que actúa como grabadora de reuniones y asistente de IA en tiempo real. Diseñada para funcionar localmente en Apple Silicon, la herramienta registra las llamadas sin unirse a la lista de participantes, garantizando que el audio permane
Magnitude es un motor de inferencia de código abierto diseñado para ejecutar modelos de lenguaje abiertos con una velocidad adaptada al hardware específico del dispositivo del usuario. A diferencia de otros motores, Magnitude compila y ajusta sus kernels en el equipo local antes de ejecutar el model
Un desarrollador ha construido un sistema de curaduría de noticias personal que opera continuamente en una Raspberry Pi 4 con 4 GB de RAM, utilizando modelos de lenguaje local para filtrar contenido. La herramienta, denominada Curator App, emplea Playwright para navegar por sitios web autorizados, v
Jevstiller es una herramienta de software que permite a los desarrolladores reemplazar llamadas de API a la plataforma Jev con un modelo de lenguaje local, manteniendo un 98% de la precisión en tareas de clasificación. El sistema opera bajo un contrato estricto: el modelo local debe responder al men
Jeff es un conjunto de modelos de lenguaje pequeños, basados en Qwen3.5 y Gemma 4, diseñados para la clasificación de cero-shot (sin entrenamiento específico para la tarea). Su objetivo principal es ofrecer decisiones rápidas y bien calibradas entre opciones, integrándose directamente en el código l
China está desarrollando un marco regulatorio para gestionar los modelos de inteligencia artificial con pesos abiertos, una estrategia clave para competir con Estados Unidos en la carrera tecnológica. A diferencia de las grandes empresas estadounidenses, como OpenAI, Anthropic o Google, que mantiene
Edge0 Audio8 ASR Infinite es un modelo de reconocimiento de voz nativo en streaming diseñado para ofrecer latencia mínima y transcripciones de audio de longitud ilimitada. Su arquitectura hereda la estructura Voxtral Realtime y combina un Decoder basado en Qwen2.5-3B-Instruct con un sistema de caché
MCDMA es un proyecto de código abierto que permite conectar un Mac Studio y una NVIDIA DGX Spark mediante un camino de memoria directa, utilizando el stack RDMA nativo de macOS. El objetivo es unificar el procesamiento de modelos de lenguaje, aprovechando la capacidad de prellenado de la GPU Blackwe
Liquid AI ha presentado LFM2.5-VL-DSpark, un modelo de decodificación especulativa diseñado para optimizar el rendimiento de los modelos de lenguaje de visión (VLM) de 3.000 millones de parámetros. Esta herramienta permite acelerar la inferencia mediante un mecanismo de decodificación especulativa q
La implementación local de modelos de lenguaje grandes (LLM) ha ganado relevancia por las preocupaciones de privacidad y la necesidad de inferencia on-premise, aunque los costos energéticos en hardware de consumo siguen siendo poco caracterizados. Este artículo presenta un benchmark reproducible de
vLLM es una biblioteca de código abierto diseñada para la inferencia y el servicio de modelos de lenguaje de gran escala (LLM). Desarrollada originalmente en el Sky Computing Lab de la Universidad de California en Berkeley, esta herramienta se ha convertido en uno de los proyectos de IA más activos,
Ollama es una herramienta de software diseñada para permitir a los desarrolladores y usuarios finales ejecutar modelos de lenguaje de gran escala (LLM) de forma local y con código abierto. Su objetivo principal es facilitar la integración de modelos como Kimi, GLM, MiniMax, DeepSeek, GPT-oss, Qwen,
Panda se presenta como el primer ordenador de inteligencia artificial personal diseñado para funcionar completamente en el hogar, eliminando la necesidad de centros de datos y suscripciones mensuales. El dispositivo, que cuesta 2.997 dólares y comenzará a enviarse en diciembre de 2027, procesa todas
MuckScraper es una herramienta de software de código abierto diseñada para funcionar como un agregador de noticias autoalojado. A diferencia de los agregadores tradicionales que presentan solo listas de artículos, este sistema prioriza la agrupación de historias, agrupando la cobertura relacionada d
Un usuario de Hacker News ha documentado el proceso de autoalojamiento del modelo de lenguaje Llama 3.2 utilizando la herramienta Coolify en su infraestructura doméstica. Esta práctica, común en la comunidad de desarrolladores, permite ejecutar modelos de inteligencia artificial localmente para gara
Verzeta Studio es un entorno de trabajo de inteligencia artificial de código abierto diseñado para gestionar equipos de agentes en una sola conversación. Su característica principal es la arquitectura local-first, lo que permite ejecutar modelos de lenguaje localmente o en la nube sin sincronizar da
Xing4.0-29B-A4B es un modelo de lenguaje de gran escala (LLM) desarrollado por China Telecom Artificial Intelligence Technology Co., Ltd., que se distingue por su arquitectura de MoE (Mixture of Experts) optimizada para la plataforma Ascend NPU. Con 29.000 millones de parámetros totales y solo 4.000
El repositorio de Hugging Face para Qwen/Qwen3.8-27B ofrece una guía integral para el despliegue y uso de este modelo de lenguaje multimodal. El documento detalla las instrucciones para integrar la herramienta mediante librerías como Transformers, vLLM y SGLang, así como la configuración de entornos
La colección de Hugging Face para XiaomiMiMo/MiMo-V2.6-Pro-RL ofrece una guía integral para el despliegue y uso de este modelo de lenguaje de gran escala. El documento detalla las instrucciones para integrar el modelo mediante librerías de Python, como Transformers, y a través de entornos de inferen
La librería Transformers de Hugging Face ha incorporado soporte nativo para modelos GGUF, permitiendo cargar y servir cuantizaciones de llama.cpp directamente desde el ecosistema de Python. Esta actualización elimina la necesidad de alternar entre la potencia de llama.cpp y la comodidad del stack de
Un desarrollador ha implementado optimizaciones en llama.cpp que aceleran la decodificación mediante búsqueda de prompts (prompt lookup decoding) hasta 42 veces más rápido y reducen el uso de memoria hasta 2,6 veces. Esta mejora se basa en técnicas de optimización de rendimiento inspiradas en el tra