Un estudio académico publicado en arXiv analiza el impacto de los modelos de lenguaje de gran escala (LLM) en el código PHP legado, específicamente en archivos de WordPress 4.0. La investigación evalúa si la instrucción de 'modernizar' al código es más efectiva que dejarlo intacto, utilizando cinco LLMs distintos para actualizar 100 archivos a la versión PHP 8.3 sin contexto de proyecto ni retroalimentación de ejecución. El análisis se basa en 630 comprobaciones de comportamiento ocultas y 511 hallazgos detectados por la herramienta Rector. Los resultados muestran que la mayoría de los archivos originales ya cumplían con todas las pruebas, mientras que el mejor LLM solo logró pasar 59 de ellos, rompiendo entre 32 y 51 archivos funcionales. En comparación, la herramienta basada en reglas Rector rompió solo 7 archivos y reparó 6. El estudio destaca que la mayoría de los errores cometidos por los LLM son innecesarios, ya que solo el 7 por ciento de los hallazgos requerían cambios bajo PHP 8.3. Además, la mayoría de los errores provienen de archivos que ya no cargan debido a declaraciones de tipos que PHP rechaza, errores que no requieren contexto de proyecto para evitar. Los autores concluyen que las evaluaciones de modernización basadas en LLM deben medirse contra una línea base de 'sin cambios' y reportar la modernización y la preservación del comportamiento de forma separada.
