Strata es un motor de inferencia de código abierto que permite ejecutar el modelo de inteligencia artificial Qwen3.8-Flash-Next en equipos de consumo, eliminando la necesidad de servidores dedicados. La herramienta, desarrollada por Niko1221, opera en Windows y Linux, requiriendo una tarjeta gráfica NVIDIA o AMD con al menos 12 GB de VRAM y 32 GB de RAM. Su objetivo principal es facilitar el uso de modelos de lenguaje de gran escala (LLM) de 125.000 millones de parámetros en entornos locales, garantizando que los datos permanezcan en el dispositivo del usuario.
El rendimiento de Strata varía según la configuración del hardware. En pruebas realizadas con una RTX 5070 (12 GB) y un Ryzen 5 7600, el modelo Q2_0 alcanzó una velocidad de escritura de 94 tokens por segundo y una lectura de entrada de 2.650 tokens por segundo. Otras variantes, como IQ3_S, ofrecen un equilibrio entre velocidad y capacidad de contexto, aunque con menores velocidades de procesamiento. La instalación es sencilla mediante un instalador que detecta automáticamente las especificaciones del sistema y descarga el modelo, que ocupa aproximadamente 70 GB. Strata incluye una interfaz web local que permite monitorear el uso de la GPU y la RAM, y soporta la integración con asistentes de codificación como Claude Code o GitHub Copilot a través de un servidor MCP compatible con la API de OpenAI. El proyecto también soporta modelos experimentales y tarjetas gráficas más antiguas, aunque con limitaciones de rendimiento.
