Hugging Face ha puesto a disposición un extenso conjunto de datos del archivo completo de Hacker News, abarcando desde 2006 hasta marzo de 2026. Este recurso, que incluye cada historia, comentario, pregunta, oferta de trabajo y encuesta publicada en la plataforma, se actualiza cada cinco minutos. Hacker News, operado por Y Combinator, es una comunidad tecnológica influyente que reúne a fundadores, ingenieros e investigadores. El conjunto de datos, almacenado en archivos Parquet mensuales y bloques de cinco minutos para la actividad actual, facilita el análisis y la investigación de tendencias en tecnología y la comunidad online. La disponibilidad de este archivo completo permite a investigadores y desarrolladores explorar patrones de contenido, analizar el comportamiento de los usuarios y construir modelos de lenguaje basados en el contenido de Hacker News. Se pueden utilizar herramientas como DuckDB, la biblioteca 'datasets' y pandas para procesar los datos, ofreciendo flexibilidad para diferentes tipos de análisis. La publicación de este conjunto de datos representa un valioso recurso para la comunidad de inteligencia artificial y análisis de datos.
