LemonSeed Studio es una aplicación única para iPad que funciona como un entorno de desarrollo integrado (IDE) con capacidad de inferencia de modelos de lenguaje de gran escala (LLM) directamente en el dispositivo. El proyecto se distingue por su arquitectura técnica, que permite ejecutar modelos de IA utilizando una GPU AMD conectada a través de un gabinete Thunderbolt, aprovechando el hardware local para procesamiento de datos sensible.
El sistema se compone de tres componentes principales integrados en la aplicación: el motor de inferencia, el sistema de drivers y la herramienta de telemetría. El núcleo del sistema es el motor de inferencia, que opera sobre la GPU mediante el runtime HSA y los frameworks HRX/Loom. Para gestionar el hardware, el proyecto incorpora el driver amdgpu y amdkfd de Linux, que se integra en la aplicación como una extensión PCIDriverKit. Esta integración permite que el iPad acceda a las capacidades de la GPU AMD sin necesidad de un sistema operativo completo de escritorio.
Además, el proyecto incluye amdgpu_mtopg, una herramienta para la telemetría en vivo de la GPU, lo que permite a los desarrolladores monitorear el rendimiento y el uso de la memoria en tiempo real. El código fuente está disponible bajo licencias abiertas, permitiendo a los usuarios elegir entre MIT o GPL-2.0-only. Los componentes de terceros, como el driver y el motor de inferencia, mantienen sus propias licencias y se gestionan mediante submódulos Git, facilitando la actualización y la integración en proyectos existentes. Esta solución ofrece una alternativa robusta para el desarrollo de aplicaciones que requieren inferencia local de IA en dispositivos móviles con hardware de gama alta.