Heartbeat Thinking optimiza agentes de voz con razonamiento especulativo

Fuentes: Heartbeat Thinking optimizes voice agents with speculative reasoning

El artículo 'Heartbeat Thinking: Speculative Reasoning and Tool Execution While Listening in Realtime Voice Agents' presenta un nuevo paradigma para agentes de voz en tiempo real que utiliza razonamiento especulativo y ejecución de herramientas durante la recepción de audio. El problema central abordado es la latencia percibida por los usuarios, quienes a menudo esperan la respuesta completa incluso cuando la información accionable llega antes de que termine la entrada de voz. Los enfoques anteriores, como la generación con límites de chunks o la interrupción por actualizaciones, cortaban las llamadas a herramientas antes de que sus argumentos estuvieran completos, acoplando el tiempo de cómputo a las actualizaciones de voz y limitando el trabajo útil realizado con anticipación.

Heartbeat Thinking resuelve esto permitiendo que las invocaciones en curso y las herramientas asignadas continúen ejecutándose mientras se procesan las actualizaciones de entrada. El sistema realiza invocaciones periódicas que leen la transcripción parcial más reciente y un registro compartido de resultados de razonamiento y herramientas completados. Estos resultados permiten resolver argumentos faltantes e iniciar llamadas dependientes, facilitando la preparación continua a través de las actualizaciones de voz. En los benchmarks SpeechFCEval, FDBench v3 y AudioCRAG, Heartbeat Thinking mejora la cobertura de herramientas especulativas o la reutilización de recuperación sobre una línea base de ventana estilo SHANKS. Específicamente, en FDBench v3, el método aumenta la cobertura de herramientas en 16 puntos porcentuales y reduce la latencia media de la respuesta final en un 36,4 por ciento. Estos resultados demuestran que preservar el cómputo en curso durante la escucha convierte el tiempo de escucha en preparación reutilizable para respuestas de agentes de voz más rápidas y capaces.