Cactus Compute ha presentado Needle 2, un modelo de lenguaje abierto de 45 millones de parámetros orientado a la llamada de herramientas, el control de dispositivos y la extracción estructurada de datos. Todo el modelo cabe en un único binario de 14 MB y ejecuta una sesión completa usando unos 28 MB de RAM, lo que le permite correr en hardware muy modesto: desde un Raspberry Pi 5 hasta teléfonos de menos de 200 dólares como los Samsung A-Series, gafas de realidad virtual como Meta Quest 3S y Apple Vision Pro, e incluso microcontroladores como el ESP32-S3. La compañía sitúa el foco en los dispositivos edge de bajo coste —calcula que unos 21.000 millones de dispositivos IoT conectados frente a unos 1.500 millones de PC— y descarta la dependencia de GPU o NPU.
En los benchmarks de function calling y uso móvil, Needle 2 compite con modelos pequeños como FunctionGemma 270M, LFM2.5 230M y Apple FM siendo entre 5 y 70 veces más pequeño y utilizando cuantización de 2 bits frente a sus 16 bits en coma flotante. Alcanza 500 tokens por segundo de decodificación en una Raspberry Pi 5, entre 400 y 1.500 en visores de RV y un rango de 300 a 700 en teléfonos económicos. La arquitectura incluye una MLP de Hadamard, engramas de n-gramas con hash, flujos residuales multi-carril, atención con ventana deslizante de 256 tokens y un motor C++ sin dependencias que detecta la CPU al arrancar y elige el kernel adecuado. Todo se entrena con cuantización desde el preentrenamiento para evitar la degradación típica de cuantizar modelos pequeños a posteriori. El modelo se distribuye bajo licencia Apache 2.0 con pesos en Hugging Face y el repositorio en GitHub.