Mercury 2: Nuevo LLM bate récords de velocidad

Inception Labs ha anunciado Mercury 2, un modelo de lenguaje de gran tamaño (LLM) que destaca por su velocidad de procesamiento, superando significativamente a otros modelos existentes. Mercury 2 utiliza una arquitectura basada en difusión, lo que permite generar respuestas de forma paralela y convergente, alcanzando una velocidad de 1.009 tokens por segundo en GPUs NVIDIA Blackwell. Esta innovación reduce la latencia y mejora la eficiencia en aplicaciones sensibles al tiempo, como la codificación, agentes autónomos, interfaces de voz en tiempo real y pipelines de búsqueda. El modelo ofrece una calidad competitiva con otros modelos optimizados para velocidad, a un precio de $0.25 por millón de tokens de entrada y $0.75 por millón de tokens de salida, y es compatible con la API de OpenAI, facilitando su integración en sistemas existentes. Según Inception, Mercury 2 desbloquea nuevas posibilidades en aplicaciones donde la experiencia del usuario es primordial, permitiendo un rendimiento superior y una mayor eficiencia en diversos sectores, incluyendo publicidad, desarrollo de software y atención al cliente. Empresas como Zed, Viant, Wispr Flow, Skyvern, Happyverse AI, OpenCall y SearchBlox ya están implementando o evaluando Mercury 2 para mejorar sus operaciones.