Mixedbread presenta una técnica de cuantización asimétrica que reduce el almacenamiento de los vectores de documento en un 97% (de 393 KiB a 12,28 KiB por documento) sin sacrificar la calidad de recuperación en su motor de búsqueda. La compañía opera Silo, un sistema de recuperación de interacción tardía para más de 2.500 millones de documentos que almacena vectores en object storage y los hidrata según la demanda.
El método almacena los vectores de documento como signos binarios de 1 bit mientras mantiene los vectores de consulta en int8. La elección es deliberada: los documentos permanecen en el índice durante mucho tiempo, mientras que las consultas se ejecutan una sola vez. Comprimir ambos lados a binario provoca una caída de 7,20 puntos en NDCG@10, frente a solo 0,61 puntos con la configuración asimétrica propuesta.
El truco de cálculo explota una identidad algebraica: si cada dimensión del documento es un bit en {-1, +1}, la similitud se reduce a la suma de los valores de consulta seleccionados por los bits positivos menos la mitad de la suma total. Esto permite usar instrucciones SDOT de ARM NEON con planos de bits precalculados, evitando multiplicaciones completas.
En el banco de pruebas interno, la combinación int8 × binario logra 89,65 de NDCG@10 frente al 90,26 de referencia en fp32, con una latencia mediana de 3,71 ms por consulta (3,82 veces más rápida que fp32). La variante int8 × int8 resulta prácticamente sin pérdida (90,27) y 3,20 veces más veloz. Ambas configuraciones convierten la interacción tardía en una opción viable por defecto, en lugar de reservarla para casos donde el almacenamiento adicional se justifique.