Usenet Archive Toolkit: kit de código abierto para archivar y buscar mensajes de Usenet

Fuentes: Usenet Archive Toolkit: an open-source kit to archive and search Usenet messages

El proyecto Usenet Archive Toolkit (UAT), disponible en GitHub, ofrece un conjunto de utilidades para convertir distintas fuentes de mensajes de Usenet —servidores NNTP, archivos mbox, maildir, volcados comprimidos en 7z o rastreos de Google Groups— en un archivo único, local y eficiente. Su autor parte de una premisa: Usenet está prácticamente muerto como espacio vivo de discusión y los mensajes antiguos se están perdiendo; Google Groups resulta inusable, Archive.org contiene colecciones incompletas y plagadas de spam, y los pequeños archivos de la red pueden desaparecer con un solo fallo de disco.

Frente a esas limitaciones, UAT propone un formato de archivo mapeado a memoria, respaldado al 100 % en disco y comprimido con zstd más un diccionario común, lo que reduce el tamaño total respecto a los mensajes sin comprimir. Cada mensaje se almacena por separado para permitir acceso instantáneo, pero el diccionario compartido mejora la ratio de compresión. Un navegador de referencia, tbrowser, necesita solo 10 bytes por mensaje para mantener metadatos: con 2,5 millones de mensajes consume alrededor de 25 MB de RAM.

El kit incorpora herramientas para importar fuentes, normalizar la codificación a UTF-8 (incluso con cabeceras rotas), eliminar duplicados, filtrar spam y mensajes fuera de grupo, reconstruir el grafo de conectividad entre mensajes y empaquetar todo en un único fichero. Incluye además un léxico para búsqueda estilo Google original. Una interfaz libuat en C++ permite integrarlo en otras aplicaciones. El repositorio enlaza a archivos de muestra, como un volcado parcial del Usenet polaco y un archivo de grupos sobre videojuegos para PC.