Scrawl es una herramienta de software diseñada para capturar interacciones visuales y auditivas en tiempo real, facilitando la creación de conjuntos de datos para agentes de inteligencia artificial. Su funcionamiento principal se basa en la grabación simultánea de la pantalla y el audio, permitiendo a los usuarios interactuar con la interfaz mediante voz, clics y dibujos. El sistema transcribe el habla en el ordenador y asocia cada frase con el fotograma de pantalla en el que se pronunció, generando un conjunto de imágenes clave que el agente puede analizar para comprender el contexto de la acción.
La herramienta ofrece dos modos de captura: uno para el Mac, que muestra la pantalla del iPhone en una ventana y permite al usuario interactuar con ella, y otro mediante ScrawlKit, una extensión para aplicaciones iOS que registra cada toque y deslize en el dispositivo móvil. Scrawl toma un fotograma cuando el usuario dibuja, hace clic, dice una palabra específica o cuando la pantalla cambia. El sistema permite solicitar una cuadrícula densa de fotogramas alrededor de un momento específico, ya sea por tiempo o por una frase concreta, lo que permite a los agentes de IA realizar búsquedas detalladas y precisas.
Para su integración, Scrawl se instala en el Mac mediante Homebrew o descargando el paquete binario, y se añade a los agentes de IA mediante el comando 'bunx skills add'. Una vez integrado, el agente puede leer el conjunto de fotogramas y la transcripción, abrir las imágenes clave indicadas en la narración y utilizar el comando 'scrawl' para examinar de cerca el contexto visual. Esta funcionalidad es útil para desarrolladores y equipos de IA que necesitan datos de interacción humana real para entrenar modelos de lenguaje o agentes autónomos, eliminando la necesidad de simular interacciones manuales.
