PaperCritic: entrenamiento de revisores de IA para evaluar la solidez de papers

Fuentes: PaperCritic: Training AI Reviewers to Assess the Soundness of Papers

El artículo 'PaperCritic' presenta un enfoque técnico para entrenar modelos de inteligencia artificial capaces de evaluar la solidez de las publicaciones académicas, un criterio objetivo y fundamental en la revisión de conferencias de ciencias de la computación. A diferencia de las estrategias que intentan imitar la subjetividad humana en aspectos como el interés o la claridad, este trabajo se centra exclusivamente en la precisión técnica y la sustancia del contenido. Para lograrlo, los autores han definido un objetivo de aprendizaje que maximiza simultáneamente la precisión, basada en la calidad de los puntos de revisión, y el recuerdo, que mide la cobertura de puntos de referencia de alta calidad. La implementación práctica de este enfoque requiere un conjunto de datos etiquetado con calidad, denominado PaperSound-23K, construido a partir de 1.000 contribuciones de ICLR y 23.000 puntos de revisión generados por humanos y modelos de lenguaje grandes. El modelo resultante, PaperCritic, se entrena mediante aprendizaje por refuerzo utilizando la puntuación F1 como recompensa. Los experimentos demuestran que PaperCritic supera a los modelos de frontera y a otros métodos de entrenamiento en conjuntos de prueba específicos. Un hallazgo destacado es la capacidad de transferencia: el conocimiento adquirido para revisar contribuciones de ICLR se aplica eficazmente a publicaciones de la familia Nature y a tareas de revisión fuera de dominio, como la revisión de código, contratos legales y retroalimentación en la escritura de historias.