Agent Draw es una herramienta experimental que permite a un agente de inteligencia artificial dibujar formas, diagramas y bocetos en un lienzo digital infinito mientras el usuario habla, sin interrumpir su presentación. Se trata de una extensión construida sobre tldraw, un SDK de lienzo infinito para React, y toma como base el kit oficial "Agent starter" publicado por tldraw, que a su vez utiliza un Worker de Cloudflare como backend.
El funcionamiento es directo: el usuario arrastra un rectángulo sobre el área del lienzo donde desea que aparezca el contenido, dicta por micrófono lo que quiere —por ejemplo, "un diagrama de decisión" o "una persona jugando al críquet"— y al soltar el ratón el sistema graba la voz, la transcribe mediante el modelo Voxtral de Mistral y pasa la instrucción al agente, que la plasma en el lienzo empleando primitivas de tldraw (rectángulos, rombos, flechas) o la herramienta de trazo libre. Si se delimitan varios rectángulos seguidos, las peticiones se encolan en una cola FIFO y se ejecutan una a una para evitar conflictos.
La calidad del resultado depende en gran medida del modelo empleado. Las pruebas realizadas con Claude Opus 4.8 produjeron composiciones ricas, incluyendo escenas dinámicas dibujadas a mano alzada, mientras que un modelo pequeño como Claude Haiku 4.5 cumplió con tareas de diagramas pero se quedó en composiciones estáticas con primitivas para escenas más complejas, y Gemini 2.5 Flash Lite tendió a abandonar prematuramente la tarea.
El artículo detalla la arquitectura técnica: una nueva herramienta de canvas que captura la zona seleccionada, un grabador de audio basado en MediaRecorder del navegador, una ruta de transcripción que delega en Mistral Voxtral, una cola serializada de dibujo y un sistema de prompt. Incluye fragmentos de código del repositorio y enlaces a la demo en vivo y al código fuente.