Screenpipe es una aplicación de escritorio desarrollada por Louis y respaldada por Y Combinator (S26) que registra de forma continua la pantalla y el audio del usuario en local, los indexa y los expone a través de una API para que agentes de IA dispongan de una memoria consultable de lo que el usuario ha visto, dicho y escuchado. El objetivo es dotar a los asistentes de contexto sobre la actividad real en el ordenador —no solo dentro de una aplicación concreta— para automatizar tareas repetitivas, generar procedimientos operativos estándar y mantener un «segundo cerebro» personal o de equipo.
El proyecto nació en 2024 como una utilidad de línea de comandos basada en grabación continua de vídeo y OCR por fotograma, un enfoque que Louis abandonó por su alto consumo de recursos. La versión actual escucha eventos del sistema operativo (cambios de aplicación, clics, pausas al escribir, desplazamientos, inactividad) y, cuando detecta algo relevante, empareja una captura con el árbol de accesibilidad del sistema; recurre a OCR solo cuando faltan datos estructurados. El audio se transcribe en local con modelos como Parakeet o Whisper, con identificación de hablantes y soporte opcional en la nube.
Toda la información se almacena en una base de datos SQLite local junto con archivos mp4 y, en ocasiones, Markdown. Sobre esa base se ofrece una API en el puerto 3030, compatible con servidores MCP y con «skills», integrable con Claude, ChatGPT, Hermes, Openclaw o clientes propios. Casos de uso descritos por el autor van desde recuperar el trabajo realizado entre las 8 y las 16 horas, mantener un wiki en Obsidian alimentado cada hora, hasta detectar oportunidades de automatización en un equipo.
La compañía aplica un modelo de IA propio para redactar información personal sensible (PII) que se ejecuta en Apple MLX o Windows DirectML, con menos del 1 % de CPU y 400 MB de RAM, y admite listas de apps, ventanas y URL a filtrar, además del modo incógnito del navegador. El código es mayoritariamente Rust, con MLX, ONNX y bindings a las APIs de Apple y Windows, y dispone de soporte experimental para Linux. El repositorio en GitHub utiliza una licencia comercial propia: uso personal, sin ánimo de lucro, educativo y de investigación es gratuito, mientras que el uso comercial requiere licencia; las versiones anteriores al cambio de licencia se mantienen bajo MIT. La empresa ofrece además un plan Enterprise para empresas que quieran analizar oportunidades de automatización.