CASTOR: el sistema jerárquico de almacenamiento en disco y cinta del CERN

Fuentes: CASTOR: the CERN hierarchical storage manager for physics data
Imagen generada por IA con el prompt: Editorial illustration of a futuristic data center hall with rows of automated tape library racks and disk server cabinets, cool blue lighting, depth perspective, no faces, no logos, no text
Imagen generada con IA

CASTOR (CERN Advanced STORage manager) es un sistema jerárquico de gestión de almacenamiento (disco y cinta) desarrollado en el CERN para archivar los enormes volúmenes de datos que generan los experimentos de física del laboratorio. El sistema combina discos y cintas en una arquitectura por niveles y ofrece su funcionalidad mediante herramientas de línea de comandos y una API de programación, con protocolos de acceso como XRoot (la opción recomendada) y GridFTP; el protocolo RFIO dejó de tener soporte en 2016.

CASTOR es el sucesor de SHIFT (Scalable Heterogeneous Integrated FaciliTy), desarrollado y operado en la década de 1990. Desde el 29 de junio de 2020, CASTOR ha sido reemplazado de forma progresiva por CTA (CERN Tape Archive), aunque CASTOR 2 permaneció en producción hasta 2022. La plataforma ha dado servicio a tres generaciones: CASTOR 1 (1998-2007), CASTOR 2 (2005-2022) y CTA (desde 2020).

El diseño se basa en una arquitectura por componentes coordinada a través de una base de datos central que salvaguarda los cambios de estado de cada pieza. Los módulos principales son: el Stager, que administra los pools de disco asignando y reclamando espacio y controlando el catálogo local de cada pool; el Name Server, que mantiene la estructura de directorios y los metadatos de los archivos (tamaño, fechas, suma de comprobación, propietario, listas de control de acceso e información de la copia en cinta); la Tape Infrastructure, encargada de escribir y recuperar ficheros en cinta; y la capa Client, que permite al usuario subir, descargar, acceder y gestionar sus datos. Un componente de Storage Resource Management añade acceso desde entornos Grid mediante el protocolo SRM e integra servicios como FTS, el sistema de transferencia de ficheros empleado por la comunidad del LHC para exportar datos.

La capa de cinta utiliza cartuchos de alta capacidad (Oracle StorageTek T10000C de 5 TB e IBM TS1140 de 4 TB) alojados en librerías automatizadas (cuatro Oracle SL8500 y tres IBM TS3500 en producción en el CERN), con una capacidad total de archivo de unos 100 PB a fecha de enero de 2013. La base de datos del CASTOR Volume Manager registra las características, capacidad y estado de cada cinta, mientras que la del Name Server guarda la información de los ficheros presentes en cada cinta: propietario, permisos y posición física en el soporte. El montaje de cartuchos lo gestiona el Volume Drive Queue Manager (VDQM) junto con el software de control propio de cada librería.

La cinta resulta mucho más barata por terabyte que el disco duro y no consume electricidad cuando no se accede a ella, aunque sus tiempos de acceso se miden en minutos en lugar de segundos; por eso el sistema emplea la caché de disco controlada por el Stager para acelerar las lecturas frecuentes. CASTOR fue utilizado principalmente por los experimentos del CERN, sobre todo las colaboraciones del LHC, para archivar y distribuir conjuntos de datos de escala petabítica, función que hoy continúa su sucesor CTA.