RealtimeVAD detecta el fin del habla 100 ms antes que Silero

Fuentes: RealtimeVAD detects speech end 100 ms earlier than Silero

RealtimeVAD es una librería de software que optimiza la detección de actividad de voz (VAD) para asistentes de voz, logrando identificar el final del habla con una anticipación media de 100 milisegundos respecto al modelo Silero VAD. La herramienta funciona integrando Silero VAD con un mecanismo de verificación secundaria más rápido que compara el nivel de audio con el ruido de fondo y el nivel del propio hablante cada 10 milisegundos. Esta doble capa permite generar eventos de inicio, pausa y fin con mayor precisión y velocidad, aunque introduce una tasa de falsos positivos diez veces superior a la de Silero, especialmente en breves pausas entre palabras.

El proyecto, actualmente en fase alfa (0.0.5), requiere solo una sola hilera de CPU y depende de las librerías numpy y onnxruntime, sin necesidad de torch. Está diseñado para integrarse en pipelines de reconocimiento de voz y generación de lenguaje natural, permitiendo cancelar tareas como la transcripción o la llamada a un LLM antes de que el usuario continúe hablando. La herramienta incluye un plugin para LiveKit, donde reduce el tiempo de detección de turnos en hasta 180 milisegundos. Los desarrolladores deben gestionar la diferencia entre los eventos 'pause' (que indican que el hablante podría haber terminado, pero no necesariamente) y 'end' (que cierran el segmento), ya que los falsos positivos en 'pause' son intencionales para permitir la cancelación anticipada de procesos costosos.