Once años después de publicar uno de los artículos más influyentes en ingeniería de datos de la última década, los autores del Dataflow Model han decidido volver sobre su propio trabajo para hacer algo inusual en el mundo académico: autocalificarse. El ensayo, titulado "The Dataflow Model Revisited", fue distinguido con el premio VLDB Test of Time Award y se publica en el volumen 19, número 12 de los Proceedings of the VLDB Endowment, con fecha 2026.
El artículo original, publicado en 2015 por Tyler Akidau y sus colegas, planteaba una tesis entonces revolucionaria: los datos no acotados y desordenados son la nueva normalidad, y los sistemas deben dejar de esperar a que los datos estén completos para procesarlos. Proponía un modelo unificado basado en cuatro piezas —ventanas (windowing), disparadores (triggers), marcas de agua (watermarks) y retractaciones (retractions)— para intercambiar de forma flexible corrección, latencia y costo entre motores de procesamiento por lotes y en streaming.
Once años después, los autores reconocen que los fundamentos centrales del artículo envejecieron bien: la primacía del tiempo de evento, la inutilidad de esperar la completitud y la insistencia en una consistencia fuerte siguen siendo válidos. Sin embargo, admiten tres errores importantes. Primero, dejaron que la ventana y el triggering, conceptos cuyas semánticas estaban enredadas con preocupaciones operativas, dominaran la exposición más allá de lo merecido. Segundo, los triggers fueron una solución sobreingenierada a una pregunta que los usuarios nunca deberían haberse planteado. Y tercero, la visión centrada en el stream perdió una verdad más profunda: streams y tablas son dos representaciones del mismo objeto con distintas semánticas de acceso.
Los mecanismos que finalmente cumplieron los objetivos analíticos del paper, señalan, vinieron del manual de las bases de datos: SQL, mantenimiento incremental de vistas y vistas materializadas con contratos explícitos de frescura. "Nos enfocamos demasiado en la mecánica del streaming en lugar de terminar lo que la comunidad de bases de datos comenzó pero nunca completó: hacer que la complejidad del streaming analítico desaparezca casi por completo", escriben los autores.
El veredicto, no obstante, no es pura confesión. Los autores exploran cómo el principio de completitud se bifurcó en dos formas exitosas: las watermarks, donde los streams permanecen visibles, y el refresco con consistencia de snapshot, donde no lo hacen. Este último alcanzó a muchos más usuarios precisamente porque les pidió menos. Los autores también concluyen que el debate batch-versus-streaming fue mayormente semántico, y observan cómo la demanda de baja latencia se bifurcó siguiendo la antigua línea OLTP/OLAP, dejando a la analítica feliz en terrenos de frescura más moderados.
El paper adopta además un marco que, confiesan, desearían haber usado desde el principio: "dejar entrar, dejar fuera, empujar más fuerte" (leave in, leave out, push harder). Y terminan preguntándose sobre la eventual desaparición del streaming más allá de la analítica.
La historia del paper incluye una anécdota reveladora sobre el proceso de revisión original. Uno de los revisores, Atul Adya, rechazó una primera versión con una frase demoledora: "Está bien escrito, pero no importa. No quiero leerlo. ¿Por qué perdería mi tiempo?" Akidau reconoce que esa tough love fue acertada: el artículo no solo describió un modelo y un sistema, sino que plantó una bandera con un mensaje claro —"debemos dejar de intentar convertir conjuntos de datos no acotados en pools finitos que eventualmente se completen"— que terminó siendo clave para su impacto.
El trabajo, firmado por Tyler Akidau (Redpanda), Rafael J. Fernández-Moctezuma (Google), Reuven Lax (Google) y Daniel Mills (Cambra), constituye un ejercicio de autocrítica poco frecuente en la literatura científica, donde rara vez los autores revientan su propio trabajo con tanta franqueza. Al hacerlo, ofrecen una ventana privilegiada no solo a la evolución técnica del procesamiento de datos, sino a la relación histórica y a menudo tensa entre las comunidades de streaming y de bases de datos.