El artículo 'PaperCritic' presenta un enfoque técnico para entrenar modelos de inteligencia artificial capaces de evaluar la solidez de las publicaciones académicas, un criterio objetivo y fundamental en la revisión de conferencias de ciencias de la computación. A diferencia de las estrategias que intentan imitar la subjetividad humana en aspectos como el interés o la claridad, este trabajo se centra exclusivamente en la precisión técnica y la sustancia del contenido. Para lograrlo, los autores han definido un objetivo de aprendizaje que maximiza simultáneamente la precisión, basada en la calidad de los puntos de revisión, y el recuerdo, que mide la cobertura de puntos de referencia de alta calidad. La implementación práctica de este enfoque requiere un conjunto de datos etiquetado con calidad, denominado PaperSound-23K, construido a partir de 1.000 contribuciones de ICLR y 23.000 puntos de revisión generados por humanos y modelos de lenguaje grandes. El modelo resultante, PaperCritic, se entrena mediante aprendizaje por refuerzo utilizando la puntuación F1 como recompensa. Los experimentos demuestran que PaperCritic supera a los modelos de frontera y a otros métodos de entrenamiento en conjuntos de prueba específicos. Un hallazgo destacado es la capacidad de transferencia: el conocimiento adquirido para revisar contribuciones de ICLR se aplica eficazmente a publicaciones de la familia Nature y a tareas de revisión fuera de dominio, como la revisión de código, contratos legales y retroalimentación en la escritura de historias.
