TurnBench avalia a alternância de turnos em diálogos falados

O que aconteceu e o que fazer

O benchmark aberto TurnBench reúne 30 horas de fala diádica anotada por três pessoas e propõe um protocolo de pontuação baseado na análise da conversação. Com ele, foram obtidos resultados de 14 sistemas na medição da alternância de turnos em diálogos falados. O foco está no fim dos turnos e nos sinais de acompanhamento, como "mm-hmm".

Na prática, uma empresa que opera assistentes de voz, centrais de atendimento automatizadas ou produtos de transcrição conversacional pode usar o protocolo para avaliar se seus sistemas interrompem o usuário no momento errado, demoram a responder ou tratam mal as respostas de acompanhamento. Isso exige uma bateria de avaliação com gravações próprias, anotadas segundo critérios semelhantes, e um pipeline que execute os testes a cada mudança de modelo ou de configuração, com métricas comparáveis ao longo do tempo.

Como a consultoria pode ajudar

Podemos diagnosticar onde os sistemas de voz da sua empresa falham na alternância de turnos, montar uma bateria de avaliação com gravações e critérios próprios e implementar um pipeline de monitoramento na sua infraestrutura, com operação contínua.

Próximo passo

Envie uma descrição breve do seu caso, indicando o canal de voz utilizado e o volume aproximado de conversas, e receba uma proposta escopada da Wendelmaques.