El proyecto esp32-iphone-agent permite a modelos de inteligencia artificial interactuar con iPhones reales utilizando una placa ESP32-S3 de bajo coste, sin necesidad de cuentas de desarrollador, Xcode ni jailbreak. A diferencia de las herramientas tradicionales de automatización que dependen de XCTest o WebDriverAgent, este sistema opera mediante dos mecanismos físicos: el reflejo de pantalla a través de AirPlay y un puente USB HID que convierte la placa en un ratón y teclado virtual. El dispositivo se conecta al iPhone mediante USB-C y al ordenador a través de Wi-Fi, ejecutando comandos simples como mover el puntero, hacer clic, escribir texto o hacer scroll. La lógica de planificación y ejecución se realiza en el ordenador, donde un modelo compatible con la API de OpenAI analiza las capturas de pantalla en tiempo real para decidir las acciones. El sistema incluye una interfaz web que permite calibrar el puntero y visualizar el historial de acciones, así como un modo de depuración que registra cada comando y latencia. Es compatible con cualquier modelo de visión local o en la nube, incluyendo versiones optimizadas de LLMs como Qwen3.8-Flash, y funciona en aplicaciones nativas o juegos, siempre que el sistema de accesibilidad esté activo. La configuración requiere un hub USB-C con passthrough de energía para mantener la carga del teléfono mientras se utiliza la placa.
Noticias agregadas con IA