software · 8 menciones
El proyecto cyber-on-strata es un fork del motor de inferencia Strata, diseñado para ejecutar el modelo Cyber-Tiel-Coder-35B-A3B (Qwen3.5 MoE) en tarjetas gráficas con 8 GB de memoria VRAM. A diferencia del motor original, que no soporta este modelo específico, esta implementación utiliza una arquit
Ferrox, un motor de inferencia escrito íntegramente en Rust, ejecuta modelos de lenguaje abiertos en local —tanto densos como Mixture-of-Experts— sobre CPU, Apple Metal o CUDA, sin recurrir a enlaces con llama.cpp ni con ggml. Cada kernel, cargador y mecanismo de planificación se ha implementado des
LocalAI sostiene que la mayoría de los backends de inferencia locales deberían limitarse a envolver motores ya existentes —llama.cpp, vLLM, whisper.cpp, stable-diffusion o MLX—, y precisamente por eso dieciocho de sus backends no envuelven nada: son puertos propios en C o C++ que la empresa escribe
transcribe.cpp es una biblioteca de transcripción de voz a texto basada en ggml, presentada por el autor y mantenedor de Handy como un proyecto de código abierto en su versión 0.1.0. Su objetivo es simplificar la distribución de aplicaciones de reconocimiento automático del habla (ASR) multiplatafor
libargus es un runtime de ejecución de inteligencia artificial nativo, sin gestión de memoria automática y con cero asignaciones de memoria, que consolida en un único proceso global las canalizaciones de visión, habla y modelos de lenguaje. La biblioteca actúa como una capa fina sobre los motores de
Un equipo de ingenieros, liderado por Antirez, ha lanzado DeepSeek v4 Flash, un nuevo motor de inferencia optimizado para el modelo de lenguaje DeepSeek V4 Flash. Este motor, denominado 'ds4.c', está diseñado específicamente para este modelo y no es un framework genérico. La principal ventaja radica
Ollama, una popular herramienta para ejecutar modelos de lenguaje grandes (LLM) localmente, enfrenta acusaciones de engaño y falta de atribución a su tecnología base, llama.cpp. Fundada en 2021, Ollama inicialmente se destacó por facilitar el acceso a llama.cpp, un motor de inferencia creado por Geo
Ollama ha anunciado una versión preliminar que optimiza significativamente el rendimiento de sus modelos de lenguaje en dispositivos Apple Silicon. La actualización, disponible desde el 30 de marzo de 2026, integra el framework de aprendizaje automático MLX de Apple, aprovechando su arquitectura de