Pulpie es una familia de modelos open source de Feyn diseñados para extraer el contenido principal de páginas HTML y eliminar la «boilerplate» (navegación, anuncios, barras laterales y pies de página), que según los autores supone alrededor del 70 % de los bloques de una página típica. El modelo insignia reducido, Pulpie Orange Small (210 M de parámetros), alcanza 0,862 de ROUGE-5 F1 en el banco de pruebas WebMainBench, prácticamente el mismo rendimiento que Dripper (0,864), el extractor líder del mercado, pero con un tercio del tamaño y a una fracción del coste.
La clave está en la arquitectura: Pulpie es un codificador Transformer que etiqueta cada bloque HTML como contenido o ruido en una sola pasada hacia adelante. Sobre una GPU NVIDIA L4 procesa 13,7 páginas por segundo, frente a las 0,68 de Dripper. A un precio de 0,39 dólares por hora para una instancia L4, limpiar mil millones de páginas cuesta 7.900 dólares con Pulpie frente a 159.000 con Dripper.
El artículo detalla el proceso de entrenamiento: los autores muestrearon 16.670 páginas en inglés de Common Crawl, las etiquetaron con DeepSeek V3.2 y, tras un filtrado de calidad, afinaron EuroBERT 2.1B como modelo «profesor», que luego destilaron en dos versiones más pequeñas mediante una combinación de divergencia KL y entropía cruzada. Los modelos están disponibles en Hugging Face bajo la organización de Feyn.
Los autores argumentan que esta mejora en la limpieza de datos beneficia tanto al preentrenamiento de modelos de lenguaje —citando el trabajo de Ma et al. (2025), que logró mejoras de 1,08 puntos en 13 benchmarks usando un extractor basado en modelos— como a la gestión del contexto en inferencia. Frente a los extractores heurísticos clásicos como Trafilatura, Pulpie preserva mucho mejor bloques de código y fórmulas, lo que evita que los modelos futuros hereden datos dañados.