Una revisión crítica del QED Score: ¿mide realmente la calidad científica?

La empresa QED Science, fundada por Oded Rechavi, presentó recientemente el QED Score, una métrica basada en grandes modelos de lenguaje (LLM) que pretende condensar la originalidad y validez de un artículo científico en un único número, y asegura que supera al SCImago Journal Rank (SJR) en precisión y sesgo. Una revisión independiente publicada por un investigador analiza los tres estudios de validación del white paper y concluye que ninguno respalda de forma sólida esas afirmaciones. En el primer estudio, con 975 artículos etiquetados por expertos anónimos, el QED Score alcanza un AUC de 0,863 frente al 0,804 del SJR para distinguir artículos "limitados" del resto, pero la metodología es opaca: no se describe la distribución de etiquetas, no se aclara si los revisores estaban cegados ante la identidad de autores o revistas, ni se aportan datos ni código reproducibles, y se omite si los artículos formaron parte del entrenamiento de los LLM. El segundo estudio, que compara 2.879 preprints de bioRxiv con el SJR de las revistas donde se publicaron, obtiene una correlación de Spearman global de 0,63, pero que oscila entre 0,78 en Genética y 0,39 en Biología de Sistemas, una inconsistencia que los propios autores atribuyen al ruido del SJR y que invalida su uso como patrón de referencia. El tercer estudio enfrenta a 15 expertos con 100 pares de artículos donde QED y SJR discrepan más, y descarta el 30% de las comparaciones por falta de confianza, sin definir ese criterio. Además, la revisión señala un sesgo geográfico en los rankings públicos del 1% superior de bioRxiv: solo tres artículos aparecen clasificados como africanos y ninguno está liderado por instituciones africanas, pues basta una afiliación secundaria en Egipto o un único coautor africano para asignar esa categoría. La discrepancia entre los 57.455 preprints evaluados según el white paper y los 53.938 del sitio web tampoco se explica.