software · 5 menciones
Prashanth Gedde Narayanaswamy, ingeniero de datos en Netflix, describe una metodología para optimizar el pipeline de sesión de su empresa mediante la ejecución paralela de experimentos en Apache Spark. El problema inicial era que los fallos de rendimiento, como errores Out-Of-Memory (OOM) y fugas de
Netflix ha desarrollado un mecanismo de atestación de carga de trabajo para integrar identidades internas en trabajos de Apache Spark ejecutados en computación gestionada de Amazon EMR. El sistema resuelve la limitación de que los procesos en entornos gestionados solo poseen credenciales de AWS, sin
Un desarrollador ha demostrado que es posible ejecutar algoritmos de grafos a escala de mil millones de aristas en un portátil, apoyándose en Apache DataFusion para delegar en disco la mayor parte del trabajo y basar los algoritmos en lecturas masivas en lugar de accesos aleatorios. DataFusion se en
Este artículo técnico de Notion relata la evolución de su infraestructura de búsqueda vectorial —motor de su producto Notion AI Q&A— durante los dos años posteriores a su lanzamiento en noviembre de 2023. El reto inicial fue de escala: en pocas semanas acumularon una lista de espera de millones de e
Amazon Web Services (AWS) ha anunciado el lanzamiento de S3 Files, una nueva funcionalidad diseñada para simplificar la gestión de datos y eliminar la fricción que surge al mover grandes volúmenes de información entre diferentes sistemas. El problema, identificado inicialmente al trabajar con invest