IndexFlow-core: infraestructura open-source de indexación con puertas SEO y cuota de Google

Fuentes: IndexFlow-core: open-source indexing infrastructure with SEO gates and Google quota circuit breaker

IndexFlow-core es una infraestructura de código abierto diseñada para resolver los problemas de indexación que sufren los sitios web con decenas o cientos de miles de URL. Su núcleo, escrito en Rust sobre Axum, Tokio y SQLx, ofrece baja huella de memoria y alta concurrencia, y se complementa con un panel web en Next.js 15 y una base de datos PostgreSQL 14+.

El sistema se organiza en cuatro espacios de trabajo desacoplados bajo una cabecera persistente por sitio: Sitemap Assets (lector recursivo de sitemaps XML con metadatos de idioma y prioridad), SEO Quality Gate (escáner HTTP independiente que valida estado 200, title, description, canonical, robots y H1 sin lanzar envíos), Engine Submissions (colas separadas para Bing IndexNow y Google Indexing API) e Index Monitoring (sincronización con Google Search Console, tanto de Search Analytics como de URL Inspection).

Entre sus mecanismos clave destacan una exención de cuota que marca como INDEXED las URL con impresiones en Search Analytics para que no consuman los 200 envíos diarios de la Indexing API; un planificador con partición por ventana temporal que impide que un sitio grande acapare a los workers; un interruptor de circuito que detiene los envíos a Google cuando se agota la cuota; y un cajón de diagnóstico por URL con re-chequeo SEO, envío manual y datos de cobertura. El proyecto se distribuye como open-core, incluye migraciones automáticas en el arranque y funciona ya en producción en sitios como Mandarin Clips (más de 230.000 páginas) e Inkvilion (más de 10.000).