El desarrollo 'ask my blog' demuestra la viabilidad de ejecutar modelos de lenguaje pequeños (25 a 360 millones de parámetros) directamente en el navegador del usuario mediante WebGPU o WebAssembly. Este enfoque elimina la necesidad de servidores, claves API o cuentas de servicio, permitiendo que la búsqueda semántica y la generación de respuestas se realicen localmente. El sistema utiliza una tabla de búsqueda estática de 4 MB para recuperar las cuatro pasajes más relevantes de un blog, y un modelo de lenguaje local resume estas fuentes en dos frases. La herramienta incluye una función de verificación de fidelidad que compara las respuestas del modelo con las fuentes originales para detectar alucinaciones o respuestas inventadas.
La evaluación comparativa de varios modelos, incluyendo SmolLM2, Gemma 3, LFM2.5, Qwen3 y Gemma 4 E2B, revela limitaciones significativas en los modelos de bajo consumo. Los modelos de hasta 350 MB de tamaño presentan una tasa de fidelidad muy baja, respondiendo correctamente solo entre el 0% y el 3% de las preguntas resolutivas, mientras que tienden a generar respuestas plausibles pero incorrectas sobre temas no cubiertos por los datos de entrada. Por el contrario, el modelo Qwen3-0.6B (579 MB) ofrece una fidelidad del 50%, y Gemma 4 E2B (3.1 GB) alcanza el 93%, aunque requiere un tiempo de descarga considerable. El proyecto destaca la importancia de la precisión en la puntuación de relevancia y la necesidad de modelos más robustos para aplicaciones de generación de texto en tiempo real, sugiriendo que la infraestructura actual de búsqueda semántica debe mejorar para soportar modelos más pequeños de forma efectiva.