Un desarrollador anónimo relata cómo, en una madrugada de insomnio, construyó un motor de búsqueda personal dirigido a creadores independientes: portfolios, fanzines, proyectos artísticos unipersonales y software de pequeños autores, frente al ruido documental y de SEO corporativo que domina los buscadores generalistas. El sistema indexa solo páginas de inicio de unos 40 millones de dominios y almacena alrededor de 1 KB de metadatos por sitio en Postgres —nombre, dos o tres frases, categoría y etiquetas— generados por un modelo de lenguaje local pequeño.
La arquitectura se divide en cuatro procesos: tres corren en su PC (semillas, rastreador y lógica de cola) y un cuarto, la GPU alquilada, se encarga del resumen sin tocar la base de datos. El texto crudo de cada página se borra tras el procesamiento, una decisión clave para evitar acumular cientos de gigas. El autor tuvo que recalibrar varias veces la cola de rastreo: un primer barrido devolvió más del 90 % de sitios corporativos, y Tumblr y Neocities amenazaron con copar el índice. Las soluciones fueron ponderar la prioridad por categoría y limitar a 100 los subdominios por dominio raíz, una regla que eliminó de golpe 45.000 páginas en cola.
El coste real fue modesto. Una GPU de gama media alquilada a unos 35 centavos la hora procesa alrededor de 600 páginas por minuto, lo que se traduce en aproximadamente un dólar por cada 100.000 sitios catalogados. Para los 560.183 indexados, el gasto total rondó los diez dólares. El autor describe los errores que aparecieron —resúmenes inventados a partir de palabras sueltas en el nombre de dominio, bloqueos por CPU compartida, caídas en frío a alta concurrencia— y comparte la tabla de tiempos y costes para escalar de 10.000 a diez millones de sitios con una, dos o tres GPUs.
