Sistema verifica fuentes antes de votar mejora la precisión del 77% al 85%

Fuentes: Source verification before voting boosts LLM accuracy from 77% to 85%

Un equipo de investigación ha desarrollado un método llamado 'Verify, Then Vote' que mejora la precisión de las respuestas generadas por modelos de lenguaje pequeños al verificar las fuentes citadas antes de realizar una votación mayoritaria. El sistema, implementado en un Apple M3 Pro con 36 GB de RAM, utilizó cinco modelos locales (Llama 3.2 3B, Mistral 7B, Gemma 2 2B, Phi-3 mini y Qwen 2.5 3B) para generar respuestas y un modelo externo, Claude Sonnet 5.5, para validar la coherencia entre la respuesta y el texto citado. La metodología separa la generación, la verificación y la selección en pasos independientes, permitiendo reutilizar los resultados y auditar las decisiones sin generar nuevas consultas a los modelos. En una prueba con 1.000 preguntas, la precisión aumentó del 77,1% (votación simple) al 85,0% con la regla de verificación. Aunque el sistema falló en un 3,2% de los casos donde la votación original era correcta, la revisión posterior ajustó la regla para mantener las respuestas ya respaldadas por fuentes, elevando la precisión al 85,9% en un conjunto de datos diferente. Este enfoque permite detectar errores sistémicos en los modelos y optimizar la selección de respuestas de forma eficiente, con un coste de aproximadamente 0,021 dólares por pregunta de verificación, frente a los 0,014 dólares del modelo de elección directa, aunque este último fue más preciso en la primera decisión inicial.