Un nuevo motor de fragmentación de texto basado en Rust, llamado Krira-Chunker, ha sido lanzado y promete una mejora significativa en la velocidad de procesamiento en comparación con LangChain. Desarrollado por Krira Labs, el motor afirma ofrecer una velocidad 40 veces mayor y un uso de memoria O(1), lo que lo hace ideal para pipelines de Recuperación Aumentada Generativa (RAG). En pruebas iniciales, procesó 42.4 millones de fragmentos en 113.79 segundos, alcanzando una velocidad de transferencia de 47.51 MB/s. El código fuente está disponible en GitHub y permite la instalación a través de pip install krira-augment. El motor es altamente configurable, permitiendo ajustar el tamaño de los fragmentos, la estrategia de división y la limpieza de HTML y Unicode. Además, Krira-Chunker ofrece integraciones con diversas plataformas de embedding y almacenamiento vectorial, incluyendo OpenAI, Pinecone, Qdrant, Weaviate y ChromaDB, facilitando la implementación en diferentes entornos y flujos de trabajo. Una característica destacada es su capacidad para funcionar completamente en la máquina local, sin necesidad de claves de API para la fragmentación inicial.
Noticias agregadas con IA