Presentan Needle, el modelo de IA que ejecuta Gemini en móviles y relojes

Un equipo de desarrolladores ha lanzado «Needle», un modelo de inteligencia artificial de apenas 26 millones de parámetros capaz de ejecutar capacidades de Gemini en dispositivos de consumo como teléfonos inteligentes, relojes inteligentes y gafas conectadas. El modelo, basado en la arquitectura Simple Attention Network, fue destilado desde Gemini 3.1 y puede ser afinado localmente en equipos Mac o PC. Al ejecutarse en la plataforma Cactus, alcanza velocidades de 6000 tokens por segundo en prefill y 1200 en decodificación. Los pesos del modelo están disponibles de forma abierta en HuggingFace. El entrenamiento previo se realizó en 16 TPU v6e procesando 200 mil millones de tokens durante 27 horas, seguido de un post-entrenamiento con 2 mil millones de tokens de llamadas de función en una sola muestra, completado en 45 minutos. El objetivo es democratizar la IA en dispositivos con recursos limitados.