IA de voz em tempo real para agentes de voz

O desafio

Um agente de voz precisa responder rápido para a conversa fluir. Cada etapa soma espera: a captura, a transcrição, o modelo de texto e a síntese de voz.

As pessoas também interrompem. O agente precisa parar de falar, ouvir e responder à pergunta nova.

Arquitetura

• Áudio do navegador por WebRTC, com o codec Opus e uma faixa para cada participante.
• Transcrição em fluxo, para o agente começar a responder mais cedo.
• Interrupção: quando a pessoa fala, a voz do agente para e ele volta a ouvir.
• Um orçamento de espera para cada etapa, medido com o áudio do próprio produto.
• Capacidade planejada para as GPUs que rodam os modelos de voz e de texto.

O que está em produção

Construo e opero áudio em tempo real em produção: captura no servidor por WebRTC e Opus, transcrição no tempo da conversa e recuperação depois de reinício.

A transcrição e o áudio ficam fora dos logs.

Limites

• A espera depende da rede, do tamanho do modelo e da GPU. A meta se mede com o seu áudio; ela não se promete antes.
• Ruído, sotaque e fala sobreposta reduzem a qualidade da transcrição. O teste usa gravações do seu ambiente.
• O agente de voz precisa passar a conversa a uma pessoa quando não resolve o caso.

Contrate para isso

• Uma revisão do seu fluxo de voz, com o orçamento de espera de cada etapa.
• A implantação da captura, da transcrição e da voz sintetizada, com monitoramento e recuperação.
• Interrupção e troca de turno ajustadas à fala dos seus usuários.