Goodfire, una startup especializada en interpretabilidad de modelos de inteligencia artificial, ha lanzado un sistema de monitores que permite a los clientes de Baseten supervisar el comportamiento interno de los agentes de IA en tiempo real. Esta solución, disponible desde el jueves, se posiciona como una alternativa más económica a los métodos tradicionales de supervisión, que suelen implicar el uso de modelos de IA adicionales para revisar las salidas del agente principal. El sistema opera mediante sondas que leen las activaciones neuronales internas del modelo durante su ejecución, similar a cómo los escáneres de seguridad en aeropuertos inspeccionan a los pasajeros, y solo activan un modelo de revisión detallada cuando detectan anomalías. Según los datos de Goodfire, este enfoque reduce significativamente los costos operativos; en pruebas con el modelo Kimi K3, el monitoreo de 1.500 sesiones costó aproximadamente 51 dólares, frente a los 233 dólares de un modelo de supervisión estándar y los 10.000 dólares de un sistema de alta gama. Además, la implementación de cuatro sondas simultáneas aumentó el tiempo de respuesta del modelo en menos del 2%. La herramienta está diseñada principalmente para modelos de código abierto, que suelen carecer de las salvaguardas de seguridad que los laboratorios cerrados implementan de forma automática. Goodfire afirma que su tecnología permite detectar riesgos como el hacking ofensivo, el uso de armas químicas o biológicas y el 'reward hacking' antes de que ocurran, facilitando la gestión de la seguridad en entornos de inferencia distribuidos.
Noticias agregadas con IA