Entrenamiento de IA para generar continuaciones estéticas de demos de código

Fuentes: Post-training AI to generate aesthetic continuations of code demos

Un desarrollador ha implementado un sistema de post-entrenamiento para un modelo de lenguaje para explorar y generar continuaciones de demos de código en la plataforma Dwitter.net. El objetivo es utilizar la inteligencia artificial para completar fragmentos de código JavaScript de 140 caracteres, conocidos como 'Dweets', que suelen ser sintácticamente inválidos o visualmente complejos para los modelos de código generalistas. El autor identificó que estos programas comparten patrones gramaticales y estructurales, similar a la productividad del lenguaje natural, lo que permite predecir sus continuaciones probables mediante modelos autoregresivos.

Para lograrlo, el autor utilizó el modelo base Qwen2.5-Code-7B y aplicó pre-entrenamiento continuado (CPT) sobre un conjunto de datos de 25.000 Dweets extraídos de la API de Dwitter.net. Este proceso redujo la perplexidad del modelo de 28,63 a 8,57, mejorando significativamente la capacidad de predecir la estructura de estos programas pequeños. Además, se implementó un currículo de entrenamiento basado en la puntuación 'awesomeness' de Dwitter, priorizando progresivamente los programas más valorados por la comunidad. Esta estrategia mejoró la coherencia visual de las salidas generadas. Finalmente, el autor exploró el uso de Refuerzo Aprendizaje con Human Feedback (RLHF) mediante GRPO, utilizando sus propias preferencias estéticas como función de recompensa para seleccionar entre múltiples completaciones de cada demo, permitiendo así una personalización estética de las salidas generadas por la IA.