TypeSafe es una herramienta de código abierto que permite a macOS ejecutar tareas complejas mediante instrucciones en lenguaje natural, reduciendo el coste operativo a aproximadamente 0,0002 dólares por paso. A diferencia de los modelos de lenguaje de frontera, que son costosos y lentos, este sistema evita enviar capturas de pantalla a grandes modelos de IA. En su lugar, utiliza un clasificador determinista para identificar la acción siguiente y solo invoca a un modelo de escritura cuando es necesario introducir texto libre.
El proyecto, desarrollado en Python 3.12 para macOS 14 o superior, se basa en la tecnología de TypeSafe, que ofrece un modelo de decisión con una distribución de probabilidades y una confianza calibrada. Según las pruebas comparativas, TypeSafe es 155 veces más barato que Claude Opus 5 para una decisión simple y hasta 390 veces más eficiente en tareas de 12 pasos, además de ser 14 veces más rápido en latencia. La herramienta requiere permisos de grabación de pantalla y accesibilidad en el sistema operativo para funcionar correctamente.
El flujo de trabajo incluye la captura de la ventana activa, el procesamiento de OCR para extraer texto y el análisis de la árbol de accesibilidad (AX) para identificar controles interactivos. El sistema optimiza el coste de OCR mediante técnicas de recorte y reutilización de capturas, leyendo solo las partes de la pantalla que han cambiado. Esta metodología permite automatizar flujos de trabajo, como el inicio de sesión o la navegación web, con una precisión controlada por la confianza del modelo, evitando acciones erróneas al mantener las opciones de decisión mutuamente excluyentes.