llama.cpp

software · 73 menciones

Se llama copla es un concurso musical dedicado a la interpretación de copla emitido en Andalucía (España) por Canal Sur Televisión, y en el resto de España y el extranjero por otras plataformas a través de Canal Sur Andalucía. Consta de 9 temporadas emitidas entre el 25 de septiembre de 2007 y el 9 de abril de 2016. Recuerda por su estructura al popular Operación Triunfo, aunque prescinde de la parte de encierro y convivencia las 24 horas. La gala final de la 1.ª edición, con un 52,7% de cuota d

Ver en Wikipedia

Noticias que mencionan llama.cpp

Cómo alcanzar 50 tokens/s con Qwen3 27B y 256K de contexto en una GPU de 24 GB

El ingeniero Michał Piszczek documenta el proceso seguido para ejecutar el modelo denso Qwen3 27B con su contexto nativo completo de 262.144 tokens, entrada multimodal y decodificación especulativa MTP sobre una sola GPU NVIDIA RTX PRO 4000 Blackwell SFF de 24 GB. El sistema final, bautizado Qwen3.8

Qwen3.8-27B en formato GGUF: guía de uso local con llama.cpp, Ollama y Unsloth

Unsloth ha publicado en Hugging Face la versión GGUF del modelo Qwen3.8-27B, una variante densa de 27.000 millones de parámetros con comprensión nativa de imágenes y vídeo, control flexible del modo de razonamiento y mejoras en la ejecución autónoma de tareas largas. El repositorio incluye cuantizac

Un servidor de IA doméstico construido con cuatro GPU recicladas

Un desarrollador describe la construcción de un servidor local de IA con cuatro GPU AMD Radeon Pro V620 recuperadas, piezas de descarte y componentes antiguos. Su objetivo es disponer de un agente de programación controlado en casa, sin depender de servicios de IA alojados en centros de datos extern

Hax, un agente de programación minimalista para terminal

Hax emerge como una alternativa minimalista en el creciente ecosistema de agentes de programación para terminal, apostando por un diseño ligero, compatibilidad con modelos locales y respeto por el entorno Unix tradicional. A diferencia de otras herramientas que han incorporado múltiples capas de fun

Llama.app, el hogar oficial de llama.cpp para ejecutar IA en local

Llama.app se presenta como la página oficial del proyecto de código abierto llama.cpp, una iniciativa pensada para ejecutar modelos de inteligencia artificial de frontera directamente en el ordenador del usuario, sin depender de servicios en la nube, claves de API ni telemetría. Toda la información

Cua libera un shim que acelera Metal en VMs macOS sobre Apple Silicon

Cua, el equipo detrás de la pila de virtualización Lume para macOS, ha publicado como 'research release' una pequeña capa de compatibilidad, limitada a un proceso, que desbloquea rutas modernas de Metal dentro de una máquina virtual macOS invitada ejecutada sobre Apple Virtualization.framework. La c

Ferrox: un motor de inferencia en Rust que rivaliza con llama.cpp

Ferrox, un motor de inferencia escrito íntegramente en Rust, ejecuta modelos de lenguaje abiertos en local —tanto densos como Mixture-of-Experts— sobre CPU, Apple Metal o CUDA, sin recurrir a enlaces con llama.cpp ni con ggml. Cada kernel, cargador y mecanismo de planificación se ha implementado des

Soup: ajuste fino de modelos de lenguaje con un único comando y sin SSH

Soup es una herramienta de línea de comandos pensada para simplificar el ajuste fino y el post-entrenamiento de modelos de lenguaje grandes (LLM). Su premisa es reducir entre el 30% y el 50% del tiempo que los equipos dedican a pelearse con la infraestructura, dedicándolo en su lugar a mejorar los m

LocalAI explica por qué reescribe en C y C++ motores de inferencia ajenos

LocalAI sostiene que la mayoría de los backends de inferencia locales deberían limitarse a envolver motores ya existentes —llama.cpp, vLLM, whisper.cpp, stable-diffusion o MLX—, y precisamente por eso dieciocho de sus backends no envuelven nada: son puertos propios en C o C++ que la empresa escribe

Neutrino-1 8B: un único archivo de 3,88 GB para GPU, Mac y CPU

Neutrino-1 8B: un único archivo de 3,88 GB para GPU, Mac y CPU La startup Fermion Research ha presentado Neutrino-1 8B, un modelo de inteligencia artificial de 8.000 millones de parámetros que destaca por una característica singular: se distribuye como un único archivo de 3,88 gigabytes capaz de ej

HART OS: un sistema operativo local-first con IA federada entre dispositivos

HART OS, desarrollado por Hevolve y disponible en GitHub bajo el repositorio hertz-ai/HARTOS, es un sistema operativo de inteligencia artificial nativo que se ejecuta de forma local en portátiles, servidores, teléfonos y dispositivos embebidos, incluidos robots. Su núcleo, llamado HART, se instala c

El software abierto con IA vive su momento Kubernetes: no lo estropeemos

Los modelos de pesos abiertos se están convirtiendo en la base del próximo ecosistema de inteligencia artificial, y Estados Unidos debería competir dentro de él en lugar de aislarse. Tobi Knaup, cofundador de Mesosphere, traza un paralelismo con Kubernetes: cuando una plataforma abierta y portátil s

Cómo autoalojar un servidor de correo en 2026 sin caer en el spam

Christian Haschek desmonta el mito de que autoalojar un servidor de correo sea inviable y propone una guía práctica basada en su propia experiencia migrando desde Google Workspace. El texto es un artículo didáctico que recorre las decisiones clave: alojamiento en casa frente a VPS (con requisitos co

libargus: un runtime nativo unificado para inferencia de IA en Java

libargus es un runtime de ejecución de inteligencia artificial nativo, sin gestión de memoria automática y con cero asignaciones de memoria, que consolida en un único proceso global las canalizaciones de visión, habla y modelos de lenguaje. La biblioteca actúa como una capa fina sobre los motores de

Reame: un servidor de inferencia LLM pensado para CPU, no para GPUs

Reame es un servidor de inferencia de modelos de lenguaje abierto construido sobre llama.cpp con una premisa clara: tratar el hardware CPU barato —servidores VPS compartidos, máquinas ARM de dos núcleos o incluso el nivel gratuito de Oracle Cloud— como ciudadano de primera clase, no como un recurso

Cómo configurar un agente de codificación local en macOS

Montar un agente de codificación local en macOS permite ejecutar modelos de lenguaje de última generación sin depender de la nube. Este artículo explica cómo configurar una solución completa usando llama.cpp, Gemma 4 26B-A4B y el agente terminal Pi, tras la experiencia del autor con cortes de intern

MTG Bench: un benchmark para medir la inteligencia de los LLM jugando a Magic

El benchmark MTG Bench evalúa la capacidad de los modelos de lenguaje de gran escala (LLM) para jugar a Magic: The Gathering de forma autónoma, sin depender de un motor de reglas que valide cada movimiento. Desarrollado por Callum Ferguson, el sistema utiliza un servidor MCP (Model Context Protocol)

Ejecutar Claude Code sin conexión: ajustes y hardware

Claude Code, la herramienta de codificación asistida por inteligencia artificial de Anthropic, puede ejecutarse en un entorno completamente local y aislado (air-gapped) sin necesidad de conexión a internet. El artículo describe la configuración necesaria para lograrlo, utilizando un modelo local com

Google lanza versiones QAT de Gemma 4 para móviles y portátiles

Google ha presentado nuevos checkpoints de Gemma 4 optimizados con Quantization-Aware Training (QAT), una técnica que integra la cuantización durante el entrenamiento para reducir la pérdida de calidad al comprimir los modelos. La novedad permite ejecutar Gemma 4 en dispositivos móviles y GPUs de co

MOSS-TTS Family: modelos de síntesis de voz y sonido de código abierto

MOSS-TTS Family es una familia de modelos de síntesis de voz y sonido de código abierto desarrollada por MOSI.AI y el equipo OpenMOSS. Su objetivo es cubrir múltiples escenarios reales con alta fidelidad y expresividad, incluyendo locuciones largas estables, diálogos con múltiples hablantes, diseño

Cómo ejecutar Gemma 4 en un Xeon de 2016 sin GPU

## Cómo ejecutar Gemma 4 en un Xeon de 2016 sin GPU: la hazaña técnica que desafía el 'memory wall' Un experimento publicado en el blog técnico point.free demuestra que es posible ejecutar un modelo de inteligencia artificial de última generación, concretamente Gemma 4 en su versión 26B con arquite

Odiseo: un espacio de trabajo autogestionado con inteligencia artificial

Odiseo (Odysseus) es un proyecto de software que ofrece un espacio de trabajo autogestionado con inteligencia artificial, diseñado para ejecutarse en el propio hardware del usuario y priorizar la privacidad. Su objetivo es replicar la experiencia de interfaz de ChatGPT o Claude, pero de forma local

Liquid AI lanza LFM2.5 con ventana de contexto de 128k tokens

Liquid AI ha anunciado hoy el lanzamiento de LFM2.5-8B-A1B, una evolución de su modelo de 'Mixture-of-Experts' diseñada para ejecutarse de manera eficiente y privada en hardware de consumo. Esta nueva versión, disponible bajo licencia abierta, supera a su predecesor al expandir su ventana de context

Animus social: toxicidad y conflictos en las comunidades de código abierto

El artículo 'Animus Social' explora la animosidad social y la desconfianza que imperan en las comunidades de código abierto, un entorno donde la falta de filtros institucionales permite que conflictos ideológicos y comportamientos tóxicos se manifiesten sin control. El autor, Justine Tunney, analiza

Herramienta de IA genera comandos de terminal con símbolos simples

Un desarrollador ha implementado una herramienta que permite generar comandos de terminal y obtener respuestas mediante inteligencia artificial utilizando símbolos como la coma y el signo de interrogación. Esta integración facilita la creación de comandos shell complejos y la consulta de información

Asistente de IA para terminal con LLMs locales en solo 100 líneas

Un desarrollador ha creado un asistente de línea de comandos impulsado por inteligencia artificial que utiliza modelos de lenguaje locales (LLMs), permitiendo a los usuarios interactuar con el terminal en lenguaje natural. El sistema, construido con aproximadamente cien líneas de código, integra her

IA local en Macs: Qwen 3.5 logra 40 tokens por segundo con chip M4

Investigadores y desarrolladores ahora pueden ejecutar modelos de inteligencia artificial localmente en Macs con chip M4 y 24 GB de memoria, reduciendo la dependencia de las grandes tecnológicas. La autora Johanna Larsson probó varias herramientas como Ollama, Llama.cpp y LM Studio, encontrando que

DeepSeek v4 Flash: Motor de inferencia más rápido y eficiente

Un equipo de ingenieros, liderado por Antirez, ha lanzado DeepSeek v4 Flash, un nuevo motor de inferencia optimizado para el modelo de lenguaje DeepSeek V4 Flash. Este motor, denominado 'ds4.c', está diseñado específicamente para este modelo y no es un framework genérico. La principal ventaja radica

Linux sin disco: arranca con ZFS, iSCSI y PXE

Este artículo describe un método para arrancar un sistema Linux sin disco duro utilizando ZFS, iSCSI y PXE. El autor buscaba una solución para probar modelos de lenguaje grandes (LLMs) en su PC de juegos sin alterar su configuración de Windows, que a menudo se corrompe con actualizaciones. También d

Adam: Nueva biblioteca C facilita el desarrollo de IA

Un nuevo proyecto de código abierto llamado 'Adam' ha sido lanzado, ofreciendo una biblioteca en C para simplificar el desarrollo de agentes de inteligencia artificial. Adam proporciona un bucle de agente completo, incluyendo la llamada a herramientas, la gestión de la memoria, sesiones, soporte par

IA recuerda: Stash crea memoria persistente para agentes

Stash, una nueva capa de memoria persistente para agentes de IA, ha sido presentada por Mohamed Al-Ashaal. La herramienta busca resolver el problema de que los agentes de IA, como ChatGPT y Claude, no retienen información entre sesiones, obligando a los usuarios a repetir constantemente la misma inf

rocm y strix halo: optimiza la memoria de tu gpu

Un usuario ha compartido su experiencia al configurar ROCm y Strix Halo para optimizar el uso de memoria en un sistema con 128GB de RAM compartida entre la CPU y la GPU. El proceso, realizado en Ubuntu 24.04 LTS, incluyó una actualización del BIOS (necesaria para la detección de la GPU) y ajustes en

Ollama enfrenta críticas por falta de reconocimiento a su base

Ollama, una popular herramienta para ejecutar modelos de lenguaje grandes (LLM) localmente, enfrenta acusaciones de engaño y falta de atribución a su tecnología base, llama.cpp. Fundada en 2021, Ollama inicialmente se destacó por facilitar el acceso a llama.cpp, un motor de inferencia creado por Geo

LLMs de código abierto: incompatibilidad dificulta su uso

El uso de modelos de lenguaje grandes (LLM) de código abierto se enfrenta a un desafío significativo: la incompatibilidad en los formatos de llamada de herramientas. Mientras que los modelos cerrados como los de OpenAI ofrecen una integración fluida, los modelos de código abierto requieren que los d

Agente IA optimiza código, mejora rendimiento en IA

Un agente de codificación ha logrado optimizar el código de Flash Attention en llama.cpp en un 15% para x86 y un 5% para ARM, gracias a la incorporación de una fase de investigación previa a la codificación. El equipo de SkyPilot, utilizando la herramienta autoresearch (y su versión generalizada, pi

Gemma 4 de Google: IA potente ahora en tu PC

Google ha lanzado la familia de modelos Gemma 4, que ahora puede ejecutarse localmente en dispositivos gracias a la nueva versión 0.4.0 de LM Studio. Esta actualización introduce 'llmster' y la CLI 'lms', permitiendo a los usuarios ejecutar modelos como Gemma 4 26B en sus propios ordenadores, elimin

Lemonade: IA local, rápida y privada para todos

Lemonade, una nueva herramienta de código abierto, ha sido lanzada para facilitar la ejecución local de modelos de inteligencia artificial en computadoras personales. La plataforma, disponible para Windows, Linux y macOS (en versión beta), busca democratizar el acceso a la IA al ofrecer una solución

Claude más eficiente: herramienta reduce el tamaño de respuestas

Un desarrollador ha creado una herramienta, disponible en GitHub, que reduce significativamente la verbosidad de las respuestas de Claude, el modelo de lenguaje de Anthropic, en aproximadamente un 63% sin necesidad de modificar el código existente. La herramienta, implementada a través de un archivo

Ollama optimiza IA en Apple Silicon con MLX

Ollama ha anunciado una versión preliminar que optimiza significativamente el rendimiento de sus modelos de lenguaje en dispositivos Apple Silicon. La actualización, disponible desde el 30 de marzo de 2026, integra el framework de aprendizaje automático MLX de Apple, aprovechando su arquitectura de

macs ejecutan IA potente: llega Hypura

Hypura es una nueva herramienta de código abierto que permite a los usuarios ejecutar modelos de lenguaje grandes (LLM) en Macs con memoria limitada. Desarrollada por un equipo anónimo, Hypura optimiza la ubicación de los tensores del modelo (datos) entre la GPU, la RAM y el almacenamiento NVMe, per

LLM más potentes: técnica de duplicación sorprende

Investigadores han desarrollado una técnica innovadora para mejorar el rendimiento de los modelos de lenguaje grandes (LLM) sin necesidad de entrenamiento adicional ni modificación de los pesos. El método, basado en el trabajo previo de David Ng (RYS), implica duplicar bloques específicos de capas d

IA local: nueva herramienta facilita su uso

Un nuevo repositorio de código abierto, desarrollado por amaiya.github.io, presenta una herramienta que permite ejecutar agentes de inteligencia artificial (IA) de forma local, sin depender de la nube. Esta herramienta, denominada Agent Executor, utiliza la arquitectura 'Agent-Based Task Execution'

Unsloth Studio: IA fácil con su interfaz sin código

Unsloth AI ha lanzado Unsloth Studio (Beta), una interfaz de usuario web de código abierto y sin necesidad de programación para entrenar, ejecutar y exportar modelos de IA de código abierto localmente. La herramienta, disponible para Windows, Linux, WSL y MacOS (con soporte limitado para entrenamien

Control por voz local: la alternativa a Google Assistant

Este artículo describe el viaje de un usuario (Crzynik) para crear un asistente de voz local y fiable en su hogar, utilizando Home Assistant. La motivación principal fue la creciente insatisfacción con Google Assistant (debido a su rendimiento decreciente y preocupaciones de privacidad) y el deseo d

Microsoft acelera IA: nuevo framework para modelos de lenguaje

Microsoft ha lanzado BitNet, un framework de código abierto diseñado para ejecutar modelos de lenguaje de 1 bit (LLM) de manera eficiente en CPUs y GPUs. Esta tecnología permite ejecutar modelos de lenguaje grandes, como un modelo de 100 mil millones de parámetros, en una sola CPU, alcanzando veloci

Alibaba lanza modelos de IA para usar en tu PC

Alibaba ha lanzado la familia de modelos de lenguaje grandes (LLM) Qwen3.5, y ahora están disponibles para su ejecución local en dispositivos personales. Estos modelos, que incluyen variantes desde 0.8B hasta 397B de parámetros, destacan por su rendimiento en tareas de razonamiento híbrido, soporte

Unsloth agiliza el ajuste de modelos Qwen3.5

Unsloth ha simplificado el proceso de ajuste fino (fine-tuning) de los modelos de lenguaje grandes Qwen3.5, una familia de modelos desarrollada por Alibaba. Ahora, usuarios pueden ajustar versiones de 0.8B a 122B de Qwen3.5, incluyendo soporte para ajuste fino tanto de texto como de visión. Unsloth

llmfit: Herramienta optimiza LLMs según tu hardware

Un nuevo terminal tool llamado `llmfit` ha sido desarrollado para simplificar la implementación de modelos de lenguaje grandes (LLM) en función del hardware disponible. Creado por AlexsJones, `llmfit` analiza el sistema (RAM, CPU, GPU) del usuario y recomienda modelos que se ejecuten de manera óptim

Unsloth mejora LLMs con Dynamic 2.0 GGUFs

Unsloth ha lanzado Dynamic 2.0 GGUFs, una actualización significativa de su método de cuantización para modelos de lenguaje grandes (LLMs). Esta nueva versión supera a otros métodos de cuantización líderes, estableciendo nuevos puntos de referencia en pruebas MMLU y KL Divergence, lo que permite a l

ZSE: Motor optimiza LLMs y reduce el uso de memoria

Un nuevo motor de inferencia para modelos de lenguaje grandes (LLM) llamado ZSE ha sido desarrollado para reducir drásticamente los requisitos de memoria, según un anuncio reciente en GitHub. Creado por Zyora-Dev, ZSE permite ejecutar modelos de lenguaje de gran tamaño con una huella de memoria sign

IA imita a Epstein: polémica por uso de correos

Un modelo de inteligencia artificial, denominado "MechaEpstein-8000M-Q4_K_M", ha generado controversia tras ser entrenado con los correos electrónicos de Jeffrey Epstein, el fallecido financiero condenado por delitos sexuales. El modelo, basado en Qwen3-8B, fue publicado en la plataforma Hugging Fac

ggml.ai y Hugging Face unen fuerzas por la IA local

El equipo detrás de ggml.ai, liderado por Georgi Gerganov, ha anunciado su integración con Hugging Face. La decisión, comunicada en la categoría de anuncios de llama.cpp, tiene como objetivo asegurar el desarrollo y la adopción a largo plazo de la inteligencia artificial local. Desde la fundación de

Edge-Veda: IA estable y privada para dispositivos móviles

Un nuevo runtime de IA para dispositivos llamado Edge-Veda busca solucionar problemas de estabilidad en aplicaciones de IA que se ejecutan directamente en teléfonos móviles, especialmente aquellas basadas en Flutter. Desarrollado por Ramanujammv, Edge-Veda permite ejecutar modelos de texto, visión y

IA sin Internet: Chat, Imágenes y Más en tu Móvil

Un desarrollador ha lanzado 'Off Grid', una aplicación móvil de inteligencia artificial que permite a los usuarios ejecutar una amplia gama de funciones directamente en sus teléfonos, sin necesidad de conexión a internet ni de enviar datos a la nube. La aplicación, disponible para Android e iOS, int