15 noticias
Ejecutar servidores de modelos de lenguaje grandes (LLM) localmente en hardware de consumo, como el Mac mini con chip M4 Pro y 48 GB de RAM, ofrece una alternativa viable a las APIs en la nube. Esta configuración permite gestionar agentes de IA y consultas rutinarias sin depender de suscripciones ex
Las arquitecturas de agentes basadas en LLM suelen delegar en el modelo la gestión de su propia memoria: el agente relee textos antiguos para decidir si un dato es nuevo o corrige uno previo, si dos instrucciones se contradicen o si una preferencia ha cambiado. El autor, con experiencia en infraestr
Vomit es una utilidad de línea de comandos escrita en Go y distribuida bajo licencia GNU GPLv3 que actúa como intermediario entre el asistente Claude, de Anthropic, y un modelo de lenguaje local. Su propósito declarado es convertir la salida textual del asistente en una versión más breve y clara med
Un análisis extenso y crítico del agente de programación OpenCode, la herramienta de código abierto de este tipo más popular en GitHub con 161.000 estrellas. El autor distingue entre problemas molestos —fallos repetidos de caché de prompt al reevaluar el prompt del sistema en cada turno SSE, al poda
Christian Haschek desmonta el mito de que autoalojar un servidor de correo sea inviable y propone una guía práctica basada en su propia experiencia migrando desde Google Workspace. El texto es un artículo didáctico que recorre las decisiones clave: alojamiento en casa frente a VPS (con requisitos co
R-ebirth es un proyecto open source que busca consolidar al lenguaje R como entorno de referencia para la investigación científica en datos e inteligencia artificial. Su pieza central es relm, un paquete de R con núcleo nativo en Rust que incorpora una versión parcheada de llama.cpp, lo que permite
Los mini PC con memoria unificada, como los basados en AMD Strix Halo, NVIDIA DGX Spark o Apple Silicon, pueden cargar modelos de lenguaje de gran tamaño (LLM) que una tarjeta gráfica dedicada como la RTX 5090 no puede alojar, porque toda su RAM LPDDR5X soldada queda disponible como si fuera VRAM. U
Ollama, la herramienta de código abierto que permite ejecutar modelos de IA en el ordenador local, ha cerrado una ronda Serie B de 65 millones de dólares liderada por Theory Ventures, según confirmó su fundador y consejero delegado, Jeff Morgan, a TechCrunch. La operación eleva la financiación total
El repositorio 'local-llm' del desarrollador James O'Beirne es una guía práctica y detallada para ejecutar modelos de lenguaje de gran tamaño en un equipo propio, sin depender de servicios en la nube como los de OpenAI o Anthropic. El documento describe dos niveles de inversión: con unos 2.000 dólar
Qwen 3.6 27B se ha convertido en una de las opciones más atractivas para ejecutar modelos de lenguaje de gran tamaño en hardware propio. Se trata de un modelo denso de 27.000 millones de parámetros —acompañado por una variante MoE de 35B A3B más rápida pero menos precisa— que, según benchmarks indep
Ejecutar dos modelos de lenguaje grandes de forma coresidente en una sola GPU exige un cálculo de memoria preciso, algo que el parámetro gpu_memory_utilization de vLLM no resuelve por sí solo. Este artículo recoge la experiencia práctica de desplegar Qwen3-Next-80B-Instruct-FP8 y Qwen3-4B-Instruct-2
Ejecutar modelos de lenguaje en el propio ordenador ha dejado de ser una tarea marginal y se ha convertido en una alternativa práctica para tareas de desarrollo. Una ingeniera con un Mac M2 de 2022 (64 GB de RAM y 1 TB de almacenamiento) describe cómo ha pasado de depender de servicios en la nube a
Un hilo de discusión en Hacker News reaviva el debate sobre si los modelos de lenguaje locales ya están listos para reemplazar a asistentes comerciales como Claude o GPT como herramienta principal de programación. Varios usuarios comparten sus configuraciones y resultados, con conclusiones dispares.
Un usuario logró duplicar la memoria VRAM de su ordenador de juegos añadiendo una GPU de datacenter Tesla V100 SXM2 por un coste total de unas 200 libras. La necesidad surgió al querer ejecutar localmente modelos de lenguaje grandes (LLM) que requerían más de los 16 GB de su RTX 4080. La solución fu
Un nuevo asistente de IA de código abierto llamado agenticSeek ha sido lanzado en GitHub, ofreciendo una alternativa centrada en la privacidad a las soluciones basadas en la nube como Manus AI. Este asistente funciona completamente en el dispositivo del usuario, sin necesidad de conexión a internet