Estudio controlado revela diferencias de comportamiento en agentes de lenguaje según la interfaz

Fuentes: Controlled study reveals behavioral differences in language agents based on interface type

Un estudio reciente publicado en arXiv analiza cómo las diferencias en la representación de las capacidades ejecutables afectan el comportamiento de los agentes de lenguaje, independientemente de que utilicen el Protocolo de Contexto del Modelo (MCP) o interfaces de línea de comandos (CLI). Los autores introducen el Método de Comparación y Análisis de Interfaz Ajustada (MICA), que estandariza las acciones semánticas para que ambos protocolos se ejecuten en el mismo tiempo de ejecución. La investigación, que abarca seis modelos de lenguaje y tres entornos interactivos, demuestra que las interfaces ajustadas producen diferencias significativas en el rendimiento de las tareas y el costo de interacción. Estos efectos trascienden la validez superficial para afectar la selección de acciones semánticas, las vías de fallo y la recuperación. Los datos muestran que en el 94,3% de los 2.004 episodios analizados, las trayectorias naturales divergen de manera estructurada, indicando que las diferencias iniciales se propagan a través de las interacciones posteriores. Para abordar esto, los investigadores proponen el enfoque Decoupled Action Realization and Targeted Repair (DART), que preserva los compromisos semánticos validados mientras corrige la realización específica de la interfaz. Este método mejora las puntuaciones en los benchmarks evaluados hasta en 9,0 puntos y reduce el costo en tokens de MCP en todas las tres entornos, con una reducción máxima de 27.100 tokens por tarea. Estos resultados establecen que la representación de la interfaz es un componente crítico del entorno de decisión en bucle cerrado que moldea el comportamiento de los agentes.