Qwen3-4B deslipo: eliminación de vicios de escritura de IA

Fuentes: Qwen3-4B desloped: removing AI writing tics

Un modelo de lenguaje pequeño de 4.000 millones de parámetros, basado en Qwen3-4B, ha sido refinado para eliminar los patrones de escritura característicos de la inteligencia artificial, conocidos como 'slop'. Este proyecto, desarrollado por un investigador en un laboratorio doméstico con un MacBook Air, presenta un modelo de 2,5 GB que opera localmente mediante Ollama o llama.cpp, sin necesidad de prompts de sistema complejos.

El objetivo principal es generar texto que parezca escrito por un humano cuidadoso, eliminando elementos como guiones largos, la estructura 'no es X, sino Y', listas de tres elementos y preguntas retóricas. El autor utiliza un detector de estilo basado en guiones de estilo que asigna puntuaciones a estas hábitas; el modelo original obtenía una puntuación media de 121, mientras que el modelo refinado logra una puntuación de 9,5 a 12,5, dependiendo de la implementación. El proceso de entrenamiento involucra la destilación de un modelo maestro que responde a 288 prompts, filtrando las respuestas que cumplen con reglas específicas, como evitar la invención de estudios o mantener la coherencia temática.

A pesar de las mejoras en el estilo, el modelo conserva limitaciones notables. Sigue cometiendo errores comunes, como la invención de nombres propios o lugares específicos, y tiende a escribir frases largas con conectores redundantes como 'which' o 'so'. Además, la adaptación de pesos (LoRA) y las modificaciones neuronales individuales son componentes clave del proceso, aunque el autor advierte que la calidad del modelo depende intrínsecamente de la calidad de los datos de entrenamiento. Este proyecto sirve como una referencia técnica para el desarrollo de modelos más grandes y para futuras pruebas ciegas de calidad de escritura.