Un investigador ha logrado ajustar localmente el modelo de lenguaje Qwen3-1.7B en una GPU de 16 GB para que responda a prompts cotidianos sin utilizar la letra 'e'. El objetivo era explorar las capacidades de los LLMs para generar lipogramas, textos que omiten caracteres específicos, una tarea compleja debido a que los modelos procesan texto por tokens y no por palabras. El proceso combinó el ajuste fino supervisado (SFT) con el aprendizaje por refuerzo (RL), utilizando un conjunto de datos propio de 180 ejemplos generados por modelos de frontera, ya que no existían datasets preexistentes de respuestas libres de 'e'.
El autor identificó que la simple instrucción o el uso de una máscara que bloquea el token 'e' resultaba insuficiente, ya que el modelo repetía palabras o producía texto incoherente. El SFT con 180 ejemplos mejoró la tasa de respuestas utilizables del 26% al 35%, aunque se observó un ligero desplazamiento temático donde el modelo cambiaba el tema principal para evitar la letra prohibida. Posteriormente, el RL se utilizó para refinar estas respuestas, evaluando la coherencia y la capacidad de responder al prompt mediante un juez externo. Este experimento demuestra que, aunque los LLMs tienen dificultades para respetar restricciones ortográficas específicas, es posible mejorar significativamente su rendimiento mediante el entrenamiento especializado y la evaluación rigurosa, ofreciendo una perspectiva técnica sobre las limitaciones y posibilidades de los modelos actuales en tareas de generación de texto restringido.
