Noticias que mencionan llama-server

Slotpin: proxy inverso para optimizar servidores locales de LLM

Slotpin es un proxy inverso de código abierto diseñado para servidores de inferencia de modelos de lenguaje locales (LLM), compatibles con llama.cpp y el motor Gufo. Su función principal es gestionar la memoria de cache (KV cache) mediante un mecanismo de 'slot pinning', lo que permite mantener las

Asistente de IA para terminal con LLMs locales en solo 100 líneas

Un desarrollador ha creado un asistente de línea de comandos impulsado por inteligencia artificial que utiliza modelos de lenguaje locales (LLMs), permitiendo a los usuarios interactuar con el terminal en lenguaje natural. El sistema, construido con aproximadamente cien líneas de código, integra her

Forge: nuevo marco para mejorar el rendimiento de LLM autoalojados

El desarrollador Antoinezambelli ha lanzado Forge, un nuevo marco de trabajo diseñado para mejorar la fiabilidad y el rendimiento de modelos de lenguaje grandes (LLM) autoalojados. La herramienta incorpora funcionalidades de seguridad seperti análisis de rescate, reintentos sugeridos y aplicación de

Unsloth agiliza el ajuste de modelos Qwen3.5

Unsloth ha simplificado el proceso de ajuste fino (fine-tuning) de los modelos de lenguaje grandes Qwen3.5, una familia de modelos desarrollada por Alibaba. Ahora, usuarios pueden ajustar versiones de 0.8B a 122B de Qwen3.5, incluyendo soporte para ajuste fino tanto de texto como de visión. Unsloth