Como avaliar inferência de voz em tempo real
Publicado em 18 de setembro de 2024, o artigo apresenta Moshi, um modelo de speech-to-speech com 7,6 bilhões de parâmetros, e o codec de áudio streaming Mimi.
Fonte: Moshi: um modelo open source de speech-to-speech (x.com). Texto preparado com IA a partir dessa fonte.
O que aconteceu e o que fazer
O artigo de 18 de setembro de 2024 apresenta Moshi, um modelo open source de speech-to-speech com 7,6 bilhões de parâmetros, acompanhado pelo Mimi, um codec de áudio streaming. A publicação informa que o lançamento inclui checkpoints e código de inferência para Candle, PyTorch e MLX, permitindo avaliar o modelo em diferentes frameworks e hardwares.
Uma empresa que esteja estudando interfaces de voz pode implementar uma prova de conceito para testar latência, qualidade de áudio, compatibilidade com seu hardware e integração com sistemas internos. O trabalho pode incluir uma avaliação técnica, uma API para a aplicação e monitoramento de desempenho e custos, sem pressupor que a solução adequada seja adotar esse modelo.
Como a consultoria pode ajudar
A Wendelmaques pode diagnosticar os requisitos de voz e infraestrutura, definir uma prova de conceito com critérios de avaliação e implementar a inferência, a integração e o monitoramento necessários. O escopo também pode incluir a operação da solução.
Próximo passo
Envie uma breve descrição do seu caso de uso de voz e da infraestrutura disponível para receber uma proposta com escopo definido.
Vamos avaliar seu projeto
Respondo com escopo e proposta.