Guia de migração para o ElevenLabs Scribe v3 Live: previsão de turno, keyterms e diarização ao vivo

O risco de uma migração para o Scribe v3 Live está justamente em parecer fácil. Você troca um ID de modelo, o preço de tabela não muda e as chamadas ao vivo passam a rodar em um novo modelo de fala sem que nenhuma revisão de código aponte nada. Se o novo modelo lidar pior que o antigo com os seus sotaques, nomes de produtos ou trocas de turno, nada vai falhar de forma evidente. As transcrições simplesmente se degradam, e um agente começa a entender números de conta errado ou a interromper quem está ligando. A seguir, veja o que muda, como os novos recursos se comportam e um scorecard para decidir com base nas suas próprias evidências.

O que o Scribe v3 e o Scribe v3 Live mudam para quem usa o Scribe v2

No benchmark FLEURS, em 102 idiomas, a ElevenLabs informa que o Scribe v3 reduz a taxa de erro de palavras (WER) de 16.94% para 12.38%, o que a empresa descreve como 27% menos erros de palavras que o Scribe v2. Para tempo real, o blog de lançamento afirma que, em 102 idiomas, o Scribe v3 Live reduz o WER semântico em 43% e o WER padrão em 31% em comparação com o Scribe v2 Realtime. Antes de comparar o WER semântico com números de outros fornecedores, sugerimos verificar como cada fornecedor define a métrica.

O preço não mudou. O Scribe v3 custa $0.20 por hora de áudio na tabela, o mesmo que o Scribe v2, e o Scribe v3 Live custa $0.22 por hora, o mesmo que o Scribe v2 Realtime. O custo base não dá motivo para migrar nem para esperar. Os complementos pagos são outra questão.

Como migrar: trocando o ID do modelo

Um desenvolvedor do projeto timbal-ai abriu uma issue no GitHub para adotar os novos modelos. Ele relatou que os dois modelos já estavam disponíveis na sua chave de API e funcionaram com o adaptador de STT de voz existente, sem nenhuma mudança de código. Também foi franco sobre o pouco que isso provava. Descreveu o teste como um smoke test com um único clipe sintético limpo, com números de latência que incluíam o tempo de conexão do WebSocket, e disse claramente que não se tratava de um benchmark.

Ou seja, uma integração bem feita provavelmente exige uma mudança de configuração, não uma reescrita. Se a precisão melhorou é outra pergunta.

Sugerimos tratar a referência oficial da Realtime API como a fonte de autoridade sobre como passar o ID do modelo e as opções de sessão, em vez de trechos de código de terceiros, porque os nomes dos parâmetros podem mudar entre versões.

Rode o v2 e o v3 lado a lado

Não deixe o novo ID fixo no código. Coloque a escolha do modelo atrás de uma feature flag ou de uma configuração por tenant, para que algumas sessões usem o Scribe v3 Live enquanto o restante continua no Scribe v2 Realtime. Isso dá a você uma comparação ao vivo e um rollback medido em segundos. Registre o ID do modelo junto com cada transcrição armazenada. Se você já rastreia chamadas de LLM e de agentes, como no nosso playbook de rastreamento GenAI com OpenTelemetry, adicione o ID do modelo de fala como atributo para que uma regressão aponte para o modelo responsável.

Checklist pós-troca

• [ ] As configurações de sessão foram mantidas: formato de áudio, taxa de amostragem, idioma e recursos opcionais.
• [ ] Você sabe qual estratégia de commit está ativa.
• [ ] A lógica do agente e os registros armazenados usam o texto confirmado (committed), não os parciais.
• [ ] O tratamento de erros cobre conexões perdidas, falhas de autenticação e fallback para o v2.
• [ ] Os dashboards separam latência e taxas de erro por modelo.

Usando commit_strategy=turn_prediction em agentes de voz

Em uma sessão em tempo real, o servidor envia transcrições parciais que continuam mudando à medida que o áudio chega. Um commit finaliza o segmento atual. Se o seu agente espera o texto confirmado antes de responder, o momento do commit define como toda a conversa é percebida. Commits atrasados fazem o agente parecer lento. Commits antecipados fazem o agente falar por cima de pessoas que ainda não terminaram.

O Scribe v3 Live oferece suporte a commit_strategy=turn_prediction. Segundo o guia de estratégias de commit, com essa estratégia o servidor confirma o segmento atual assim que uma transcrição parcial atinge um turn_probability de 0.9 ou mais. Em termos simples, o servidor prevê se a pessoa terminou de falar e faz o commit quando tem confiança.

Sugerimos comparar a previsão de turno com a abordagem de commit que você usa hoje, nas mesmas gravações, em vez de presumir que ela será melhor para quem liga para você.

Durante os testes, registre cada valor de turn_probability e cada evento de commit com timestamps, ao lado do que a pessoa realmente disse. Procure commits disparados no meio de um raciocínio e commits que chegaram muito depois de a pessoa parar de falar. Comece por falantes hesitantes e por pessoas lendo números longos, porque eles revelam problemas mais rápido. Para uma forma estruturada de pontuar isso, veja nosso mapa de mesmo relógio para avaliação de troca de turnos.

O guia descreve o limiar como comportamento do servidor, então sugerimos não contar com a possibilidade de ajustá-lo. Invista o esforço em como o seu agente se recupera quando o usuário continua falando depois de um commit.

Keyterms e bibliotecas de keyterms para vocabulário de domínio

Modelos de fala genéricos tendem a errar justamente as palavras que mais importam para um negócio: nomes de produtos, nomes de ruas, códigos postais, números de apólice, nomes de medicamentos e jargão interno. As equipes podem descobrir que é aqui que os recursos de vocabulário de domínio se pagam, desde que sejam testados com os próprios erros.

A ElevenLabs publicou um exemplo do seu cliente Eneco. Segundo a ElevenLabs, em chamadas reais de clientes, o agente reconheceu corretamente na primeira tentativa os códigos postais holandeses 40% mais vezes, e os números de casa 15% mais vezes. Leia isso como uma ilustração do fornecedor, não como uma previsão para o seu próprio vocabulário.

Para vocabulários maiores, existe o keyterm_library. A Data Studios observa que a documentação diz que uma biblioteca pode conter até 10,000 termos, enquanto outra linha da mesma página menciona 100,000. Se o seu projeto depende de uma biblioteca muito grande, confirme o limite real com a ElevenLabs antes.

O keyterm prompting é um complemento pago, listado a $0.05 por hora na página de preços da API, então faça uma curadoria da biblioteca em vez de adicionar todos os termos que você tem. Um ciclo simples funciona bem:

1. Colete transcrições de chamadas reais e marque os termos que o modelo errou.
2. Agrupe os erros por tipo, como nomes, códigos alfanuméricos, endereços e termos de produtos.
3. Adicione os termos que falham com frequência e afetam o resultado do negócio.
4. Rode novamente o mesmo áudio com e sem a biblioteca.
5. Revise a biblioteca periodicamente e remova os termos que não ajudam mais.

Se quem liga troca de idioma no meio da conversa, sugerimos testar com gravações que realmente contenham alternância de idiomas e consultar a documentação de modelos e a referência da API para ver como as opções multilíngues tratam os seus pares de idiomas, em vez de adivinhar.

Diarização ao vivo: o que ela possibilita e quanto confiar nela

Rótulos de falante ao vivo permitem criar notas de reunião em andamento com nomes associados, ferramentas de apoio ao agente que reagem apenas ao cliente e QA de chamadas que separa agente e cliente enquanto a chamada ainda está acontecendo.

A ElevenLabs informa que, na parte em inglês do seu conjunto de dados do mundo real com 16 idiomas, o Scribe v3 Live tem uma taxa de erro de diarização de 3.1%, contra 5.9% a 7.3% dos outros modelos em tempo real que testou. Para batch, a empresa diz que o Scribe v3 comete 17% menos erros de diarização que o Scribe v2 em gravações com três ou mais falantes, uma dificuldade comum para a diarização.

Trate esses números com cautela. A AlphaSignal observa que os resultados de diarização vêm de um conjunto de dados interno separado, que abrange reuniões, chamadas de agentes e notas de voz em 16 idiomas, e que esses resultados internos não foram verificados de forma independente. A ElevenLabs diz que pretende abrir o código desse conjunto de dados.

Teste os casos difíceis: fala sobreposta, vozes parecidas, pessoas que entram tarde e longos trechos em que uma pessoa domina a conversa. Nossas verificações de handoff de falante para transcrição em fala sobreposta também se aplicam aqui.

Preços do Scribe v3 Live, complementos e contas previsíveis

*Observação sobre a tabela: os preços dos complementos são os preços de tabela da API. Confirme os preços dos complementos em tempo real que se aplicam ao seu plano.*

É nos complementos que a conta cresce. A Data Studios estima que os complementos podem aumentar a conta de batch em 60% e a conta ao vivo em cerca de 91%, e recomenda ativá-los apenas onde o vocabulário personalizado ou a formatação automática eliminam trabalho manual.

Dois hábitos ajudam. Primeiro, ative os complementos por fluxo de trabalho, não na conta inteira. Uma linha de sinistros que ouve números de apólice o dia todo pode justificar keyterms, enquanto um gravador de reuniões genérico talvez não. Segundo, acompanhe o custo por hora útil: o áudio que gerou uma transcrição utilizável sem correção manual. Uma hora mais barata que ainda precisa de limpeza humana não é, de fato, mais barata.

Opções de conformidade e retenção de dados

Para clientes Enterprise, a ElevenLabs oferece o Zero Retention Mode. A documentação diz que, nesse modo, a maior parte dos dados de requisições e respostas é excluída imediatamente após a conclusão da requisição.

Repare na expressão "a maior parte". Leia a página para ver o que fica de fora e registre isso na sua avaliação de proteção de dados. Se você lida com informações de saúde, pergunte diretamente à ElevenLabs se um HIPAA Business Associate Agreement está disponível no seu plano e se ele cobre os recursos em tempo real que você pretende usar.

Verifique também os seus próprios sistemas. A exclusão pelo fornecedor ajuda pouco se a sua aplicação, os seus logs ou o seu data warehouse de analytics guardam áudio bruto e transcrições indefinidamente, e isso inclui os logs de depuração que a sua avaliação vai gerar.

Antes de testar: por que os números do fornecedor não bastam

Todos os números de precisão dos materiais de lançamento são informados pelo fornecedor, e as próprias páginas da ElevenLabs não concordam totalmente entre si. O blog cita uma redução de 43% no WER semântico em 102 idiomas, enquanto a documentação de modelos diz que, no FLEURS em 73 idiomas, o Scribe v3 Live tem um WER semântico 44% menor que o Scribe v2 Realtime. Cite uma fonte com precisão em vez de misturá-las. As pontuações só são comparáveis quando você conhece o protocolo por trás delas, como defendemos em por que pontuações de benchmark precisam de protocolos.

O benchmark também tem limites. Como aponta a AlphaSignal, como o FLEURS contém fala lida e limpa, os seus resultados de WER não comprovam o desempenho em chamadas com ruído ou em conversas com muita sobreposição.

As médias também escondem grandes variações entre idiomas. A ElevenLabs informa ganhos no Live de 77% para grego, 54% para dinamarquês, 45% para croata e 36% para hindi. Para batch, informa 42% para alemão, 35% para espanhol e 23% para inglês. Se o seu tráfego é majoritariamente em inglês, o seu ganho pode ficar bem abaixo da média multilíngue.

Existem sinais independentes, mas são retratos de um momento. A DEV Community informou que, no leaderboard da Artificial Analysis para áudio gravado, consultado em 12 de novembro, o Scribe v3 ficou em segundo lugar entre 64 modelos, com 1.9% de erro de palavras, atrás do Alibaba Cloud Fun-Realtime-ASR-preview, com 1.7%. Um ranking de áudio gravado não diz nada direto sobre o comportamento em tempo real no seu tráfego. Por isso o teste abaixo é feito com o seu próprio áudio.

O Swap-Safe Scorecard: testando o Scribe v3 Live com o seu próprio áudio

O Swap-Safe Scorecard (placar de troca segura) é um plano de sete etapas que termina em uma única tabela: o mesmo áudio, os dois modelos, seis linhas. Preencha as duas colunas de resultado e combine a regra de decisão com as partes interessadas antes que alguém veja os resultados.

Regra de decisão: o v3 Live só vence se melhorar as linhas ligadas ao resultado do seu negócio sem piorar as interrupções nem o custo por hora útil.

Etapa 1: monte um conjunto de avaliação representativo. Use amostras de tráfego real, incluindo chamadas com ruído, sotaques variados, conversas cruzadas, termos de domínio e todos os idiomas que você atende. Obtenha o consentimento adequado e aplique as suas regras de retenção ao próprio conjunto.

Etapa 2: escreva as referências e trave as linhas. Crie transcrições e rótulos de falante de referência para um subconjunto e defina as métricas antes de os testes começarem.

Etapa 3: rode os dois modelos lado a lado. Envie o mesmo áudio pelos dois, com configurações idênticas. Depois repita com os keyterms ativados, para separar o ganho do modelo do ganho do complemento.

Etapa 4: traduza o WER em impacto no negócio. A ElevenLabs oferece uma referência útil: uma reunião de uma hora a 150 palavras por minuto tem cerca de 9,000 palavras, então a diferença entre um WER de 4% e um de 2% são 180 palavras erradas, três para cada minuto em que alguém estava falando. Faça a mesma conta para a duração das suas chamadas e dê mais peso aos erros nas entidades que determinam os resultados.

Etapa 5: meça o comportamento do agente de ponta a ponta. Com a previsão de turno ativada, acompanhe as interrupções, o atraso nas respostas e a recuperação quando o usuário continua falando. Uma transcrição mais limpa que deixa a conversa pior não é uma vitória.

Etapa 6: use benchmarks públicos como verificação de sanidade. A ElevenLabs informa que o Scribe v3 reduz o WER no Earnings-22, que reúne chamadas financeiras em inglês com sotaque, de 5.99% para 3.91%, e no VoxPopuli, que reúne falas do Parlamento Europeu, de 2.13% para 1.71%. Consulte o blog de lançamento para confirmar se esses números se referem ao modelo batch ou ao Live antes de usá-los como referência para tempo real.

Etapa 7: faça o rollout gradualmente. Mova o tráfego por tenant ou por porcentagem, acompanhe as linhas do scorecard em dashboards ao vivo e mantenha um rollback para o v2 acionável com uma única chave até que o novo modelo se sustente por um ciclo de negócio completo.