El Centro para la Innovación en Inteligencia Artificial y un equipo de la Universidad de Illinois en Urbana-Champaign (UIUC) han publicado en Hugging Face un asistente de enseñanza basado en inteligencia artificial pensado para ayudar a estudiantes del curso ECE 120, Introducción a la Ingeniería Eléctrica. La aplicación web, de código abierto, ejecuta once modelos en paralelo para tareas de recuperación de texto e imágenes, generación de respuestas, moderación y reordenación, y alcanza un tiempo de respuesta mediano de dos segundos.
El sistema se entrena con libros de texto, vídeos de clases y foros de preguntas y respuestas de estudiantes, materiales que no se distribuyen públicamente porque los autores no concedieron esos derechos. Como aportación destacada, el proyecto introduce un esquema de búsqueda semántica durante el ajuste por refuerzo con feedback humano (RLHF), entrenado con un conjunto de datos generado por un equipo de cinco estudiantes de Ingeniería Eléctrica y disponible en Hugging Face bajo el nombre rlhf-qa-comparisons.
Para evaluar cada nueva funcionalidad, el equipo compara las respuestas generadas por sus modelos con respuestas de referencia redactadas por ingenieros expertos, usando GPT-3 como juez automático. Los propios autores reconocen la limitación de que GPT-3 tienda a puntuar favorablemente sus propios resultados y sugieren repetir las pruebas con modelos de Cohere.
El repositorio incluye el código principal, la interfaz Gradio, los scripts de ingeniería de prompts, la canalización de evaluación y la base documental basada en Pinecone, que el usuario puede sustituir por su propia colección de documentos para reutilizar el sistema en otros contextos.