DishwasherBench: simulación física de lavavajillas para benchmark de LLMs

Fuentes: DishwasherBench: physical dishwasher simulation for LLM benchmarking

DishwasherBench es una plataforma de software desarrollada por Composo.ai que combina una simulación física de un lavavajillas real con un juego interactivo llamado Spotless. Su objetivo principal es servir como banco de pruebas (benchmark) para modelos de lenguaje grandes (LLMs) y agentes de IA, permitiendo evaluar su capacidad para resolver problemas de planificación y física en un entorno controlado. La herramienta es jugable tanto por usuarios humanos en un navegador web como por modelos de IA a través de un servidor MCP.

El sistema se basa en la simulación rigurosa de un Bosch SMV4HAX40G, utilizando física de cuerpos rígidos para el cargado y una simulación de lavado en dos niveles de precisión. El juego presenta siete niveles de dificultad donde el jugador debe decidir qué objetos cargar y cómo, ya que no todo encaja en cada nivel. La validación de la simulación se ha calibrado contra un lavado real de la máquina y datos de otras unidades, mostrando una alta coherencia interna, aunque con limitaciones específicas en la predicción de la limpieza de platos y cubiertos.

La implementación técnica requiere Node.js 20.19 o superior, pnpm 9 y un navegador compatible con WebGPU (como Chrome o Chromium). El repositorio incluye documentación extensa sobre la calibración, los fenómenos de carga modelados y las limitaciones actuales, como la falta de modelado de secado o manchas en el vidrio. Esta herramienta ofrece una verificación determinista de los resultados, permitiendo a los desarrolladores reproducir y auditar cada episodio de juego o simulación.