Gamow Labs presenta LabRobotBench para evaluar agentes de IA en laboratorios

Fuentes: Gamow Labs introduces LabRobotBench to evaluate AI agents in wet labs

Gamow Labs ha lanzado LabRobotBench V0.1, una herramienta de evaluación diseñada para medir la capacidad de los agentes de inteligencia artificial para recuperar flujos de trabajo físicos en laboratorios de biología. El benchmark analiza qué porcentaje de la secuencia experimental completa cada modelo, utilizando un conjunto de datos de prueba específico. Los resultados preliminares muestran que GPT 6.1 (SolCodex) alcanza un 46,7% de recuperación, mientras que Opus 5.5 y Claude Code obtienen 23,0% y 20,9% respectivamente, según la media de la muestra retenida.

La evaluación se centra en tres escenarios críticos para la biología en vivo: finalizar experimentos interrumpidos, gestionar muestras en tiempo real y cumplir con plazos estrictos de medición. En el primer caso, un robot debe completar el tratamiento químico y la medición de cuatro bandejas de células, evitando que se dañen las muestras ya procesadas. En el segundo, el agente debe priorizar tareas con plazos cortos, como completar un experimento en 200 segundos o devolver suministros a almacenamiento en 240 segundos, equilibrando la atención entre múltiples objetivos. El tercer escenario exige medir la respuesta de células a un químico dentro de 30 minutos, un requisito común en experimentos biológicos donde la respuesta celular cambia con el tiempo.

Estos resultados son relevantes para la industria de la automatización de laboratorios, ya que los agentes de IA deben no solo operar equipos, sino también planificar secuencias lógicas y temporales para maximizar la precisión científica. Gamow Labs, que trabaja en la frontera de la IA y la biología de laboratorio para estudiar enfermedades raras, invita a desarrolladores de modelos de frontera y empresas de automatización a colaborar para expandir estas capacidades experimentales.