Mintlify ha desarrollado un sistema de archivos virtual llamado ChromaFs para mejorar el rendimiento de sus asistentes de IA y reducir costos. Anteriormente, el proceso de creación de sesiones para el asistente requería hasta 46 segundos y generaba gastos significativos en infraestructura (aproximadamente $70.000 anuales) debido al uso de micro-VMs para acceder a la documentación. ChromaFs simula un sistema de archivos sin necesidad de un entorno real, traduciendo comandos UNIX a consultas en una base de datos Chroma existente. Esto ha reducido drásticamente el tiempo de creación de sesiones a 100 milisegundos y eliminó los costos marginales por conversación. El sistema utiliza 'just-bash' para interpretar comandos y un árbol de directorios almacenado en la base de datos para simular la estructura de archivos, implementando controles de acceso basados en roles. Además, optimiza las búsquedas de texto ('grep') traduciéndolas a consultas de base de datos, mejorando significativamente la velocidad de las búsquedas recursivas. Actualmente, ChromaFs soporta cientos de miles de usuarios diarios y miles de conversaciones.
Noticias agregadas con IA