Un estudio comparó la búsqueda léxica con grep frente a la navegación semántica basada en el protocolo LSP para que agentes de IA recuperen contexto de código. El experimento abarcó tres modelos de Claude (Opus 4.8, Sonnet 4.6 y Haiku 4.5), varios repositorios en Python y TypeScript, y tareas de localización, completitud de referencias y renombrado multilínea. Los resultados muestran que los agentes no prefieren siempre grep: eligen la herramienta según la tarea. En localización simple, los modelos recurrieron a LSP solo entre el 0 % y el 6 % de las veces; en tareas de completitud de referencias, la elección de LSP osciló entre el 45 % y el 57 %. Cuando se les forzó la ruta semántica, la tasa de éxito cayó del 100 % al 89 %. La ventaja de LSP dependió del ruido léxico del repositorio: en uno limpio no aportó ganancia de F1 y consumió un 16 % más de tokens, mientras que en uno ruidoso mejoró la F1 en 0,246 y usó un 12 % menos. Una segunda prueba modificó la salida de las herramientas LSP para incluir el fragmento de código junto a la ubicación. Con ese cambio, la tasa de éxito en renombrado multilínea pasó de 0,67 a 0,83 y las lecturas de seguimiento cayeron de 15,2 a 3,2 por episodio. El trabajo concluye que la selección de herramientas depende de la interfaz y el contexto devuelto, no solo de la precisión del recuperador. Para los autores, el diseño del harness que envuelve al modelo resulta tan determinante como la capacidad del modelo mismo, una línea que conecta con guías recientes de Anthropic sobre herramientas e interfaces para agentes.
Noticias agregadas con IA