Dan McFunley, ingeniero con 25 años de experiencia, presenta una crítica radical a la dependencia de los prompts en el desarrollo de agentes de inteligencia artificial. En su charla, sostiene que la naturaleza textual de los prompts impide comprender la falta de conciencia de estos sistemas y que la verdadera vía hacia la fiabilidad es construir pipelines de evaluación y optimización interconectados. McFunley argumenta que los prompts no son elementos estáticos, sino variables dinámicas que interactúan con otros contextos, lo que dificulta su escalabilidad y mantenimiento. Para abordar los fallos de los modelos de lenguaje, propone un enfoque basado en pruebas adversariales y optimización automática, utilizando algoritmos como GEPA para mejorar el rendimiento de los agentes sin depender de instrucciones manuales. Esta metodología busca contener el comportamiento de la IA mediante mediciones repetibles, en lugar de confiar en la intuición o la experiencia humana, que a menudo subestima la capacidad de los modelos para evadir restricciones. El objetivo final es crear agentes que funcionen de manera fiable en producción, minimizando los riesgos de seguridad y calidad asociados con el uso de software no consciente.
Noticias agregadas con IA