Estudio revela artefactos no funcionales en registros públicos de LLMs

Fuentes: Study reveals non-functional artifacts in public LLM registries

Un estudio reciente ha identificado artefactos de modelos de lenguaje grandes (LLM) cuantizados que, aunque se descargan de registros públicos, no funcionan correctamente al ejecutarse localmente. La investigación, publicada en arXiv, analizó 305 etiquetas de código GGUF en la librería oficial de Ollama y 22 archivos de Hugging Face. Aunque la reproducibilidad exacta de los pesos no garantizaba la funcionalidad, los investigadores encontraron que siete etiquetas oficiales resolvían hasta seis de 164 tareas de HumanEval+, todas de baja precisión (cuatro mil millones de parámetros o menos). El análisis detallado reveló que la falta de calibración era la causa principal, no la corrupción de los datos. Al reconstruir cinco archivos sospechosos, los resultados coincidieron con las versiones no calibradas, confirmando que la simple ausencia de errores en los pesos no implicaba un funcionamiento correcto. La herramienta 'quantcheck', desarrollada por los autores, permite auditar estos artefactos antes de su publicación. Los expertos recomiendan filtrar las etiquetas de baja precisión y calibrarlas o retenerlas si fallan, mejorando así la fiabilidad de los modelos disponibles para desarrolladores.