Este artículo técnico de Notion relata la evolución de su infraestructura de búsqueda vectorial —motor de su producto Notion AI Q&A— durante los dos años posteriores a su lanzamiento en noviembre de 2023. El reto inicial fue de escala: en pocas semanas acumularon una lista de espera de millones de espacios de trabajo y los índices originales estuvieron cerca del límite de capacidad. Para evitar rehashing continuos, adoptaron una arquitectura por 'generaciones' de índices y, mediante mejoras en Airflow, pipelining y ajuste de trabajos Spark, multiplicaron por 600 la capacidad de onboarding diaria, por 15 los espacios activos y por 8 la capacidad de la base de datos vectorial, vaciando la lista de espera en abril de 2024.
La segunda fase se centró en reducir costes. En mayo de 2024 migraron del modelo de 'pods' con hardware dedicado a una arquitectura serverless que desacopla almacenamiento y cómputo, lo que reportó un 50% de ahorro en costes punta. Después evaluaron turbopuffer, un motor de búsqueda construido sobre object storage, y migraron toda su carga de trabajo —miles de millones de vectores— entre finales de 2024 y enero de 2025. La nueva arquitectura eliminó la fragmentación manual, mejoró la latencia p50 de 70-100 ms a 50-70 ms y redujo un 60% el gasto en el motor de búsqueda y un 35% en cómputo de AWS EMR.
El último gran avance, bautizado Page State Project y desplegado en julio de 2025, ataca el problema del reprocesamiento completo de páginas largas. Ahora calculan dos hashes xxHash por fragmento (texto y metadatos) y los almacenan en DynamoDB para identificar con precisión qué partes cambiaron, evitando re-embebir y recargar páginas enteras cuando un solo carácter se modifica.