Guía de migración a ElevenLabs Scribe v3 Live: predicción de turnos, keyterms y diarización en vivo

El riesgo de una migración a Scribe v3 Live es lo fácil que parece. Cambias un ID de modelo, el precio de lista se mantiene y las llamadas en vivo empiezan a pasar por un nuevo modelo de voz sin que ninguna revisión de código marque nada. Si el nuevo modelo maneja peor que el anterior tus acentos, nombres de productos o la toma de turnos, nada falla de forma visible. Las transcripciones simplemente se desvían, y un agente empieza a oír mal los números de cuenta o a interrumpir a quienes llaman. A continuación verás qué cambia, cómo se comportan las nuevas funciones y una tabla de evaluación para decidir con tu propia evidencia.

Qué cambian Scribe v3 y Scribe v3 Live para los usuarios de Scribe v2

En el benchmark FLEURS, con 102 idiomas, ElevenLabs informa que Scribe v3 reduce la tasa de error de palabras (WER) de 16.94% a 12.38%, lo que describe como un 27% menos de errores de palabras que Scribe v2. Para tiempo real, el blog de lanzamiento indica que, en 102 idiomas, Scribe v3 Live reduce el WER semántico en un 43% y el WER estándar en un 31% frente a Scribe v2 Realtime. Antes de comparar el WER semántico con las cifras de otros proveedores, te sugerimos comprobar cómo define cada proveedor esa métrica.

Los precios no cambian. Scribe v3 figura a $0.20 por hora de audio, igual que Scribe v2, y Scribe v3 Live figura a $0.22 por hora, igual que Scribe v2 Realtime. El coste base no te da ningún motivo para migrar ni para esperar. Los complementos de pago son otra cuestión.

Cómo migrar: cambiar el ID del modelo

Un desarrollador del proyecto timbal-ai abrió una issue en GitHub para adoptar los nuevos modelos. Informó que ambos modelos ya estaban disponibles con su clave de API y funcionaban a través de su adaptador de STT de voz existente sin cambios de código. También fue sincero sobre lo poco que eso demostraba. Lo describió como una prueba de humo con un único clip sintético limpio, con cifras de latencia que incluían el tiempo de conexión del WebSocket, y dijo claramente que no era un benchmark.

Así que una integración limpia probablemente necesite un cambio de configuración, no una reescritura. Si la precisión mejoró es otra pregunta.

Te sugerimos tomar la referencia oficial de la Realtime API como la fuente autorizada sobre cómo pasar el ID del modelo y las opciones de sesión, en lugar de fragmentos de terceros, porque los nombres de los parámetros pueden cambiar entre versiones.

Ejecuta v2 y v3 en paralelo

No escribas el nuevo ID directamente en el código. Coloca la elección del modelo detrás de un feature flag o de una configuración por cliente, para que algunas sesiones usen Scribe v3 Live mientras el resto sigue en Scribe v2 Realtime. Así obtienes una comparación en vivo y una reversión que se mide en segundos. Registra el ID del modelo con cada transcripción almacenada. Si ya trazas las llamadas a LLM y agentes, como en nuestro manual de trazado GenAI con OpenTelemetry, añade el ID del modelo de voz como atributo para que cualquier regresión apunte al modelo que la causó.

Lista de comprobación tras el cambio

• [ ] La configuración de la sesión se mantiene: formato de audio, frecuencia de muestreo, idioma y funciones opcionales.
• [ ] Sabes qué estrategia de commit está activa.
• [ ] La lógica del agente y los registros almacenados usan texto confirmado, no parciales.
• [ ] La gestión de errores cubre conexiones caídas, fallos de autenticación y un retorno a v2.
• [ ] Los paneles separan la latencia y las tasas de error por modelo.

Uso de commit_strategy=turn_prediction en agentes de voz

En una sesión en tiempo real, el servidor transmite transcripciones parciales que siguen cambiando a medida que llega el audio. Un commit finaliza el segmento actual. Si tu agente espera el texto confirmado antes de responder, el momento del commit determina cómo se siente toda la conversación. Los commits tardíos hacen que el agente parezca lento. Los prematuros hacen que hable encima de personas que no han terminado.

Scribe v3 Live admite commit_strategy=turn_prediction. Según la guía de estrategias de commit, con esta estrategia el servidor confirma el segmento actual cuando una transcripción parcial alcanza un turn_probability de 0.9 o más. Dicho de forma sencilla, el servidor predice si el hablante ha terminado y confirma cuando tiene suficiente seguridad.

Te sugerimos comparar la predicción de turnos con el enfoque de commit que uses hoy, sobre las mismas grabaciones, en lugar de suponer que será mejor para quienes te llaman.

Durante las pruebas, registra cada valor de turn_probability y cada evento de commit con marcas de tiempo, junto a lo que el hablante dijo realmente. Busca commits que se dispararon a mitad de una idea y commits que llegaron mucho después de que el hablante se detuviera. Empieza con hablantes vacilantes y personas que leen números largos en voz alta, porque son los que revelan los problemas más rápido. Para una forma estructurada de puntuar esto, consulta nuestro mapa de reloj común para evaluar la toma de turnos.

La guía describe el umbral como un comportamiento del servidor, así que te sugerimos no planificar en torno a ajustarlo. Dedica el esfuerzo a cómo se recupera tu agente cuando un usuario sigue hablando después de un commit.

Keyterms y bibliotecas de keyterms para vocabulario del dominio

Los modelos de voz genéricos suelen fallar en las palabras que más le importan a un negocio: nombres de productos, nombres de calles, códigos postales, números de póliza, nombres de medicamentos y jerga interna. Los equipos pueden descubrir que aquí es donde las funciones de vocabulario del dominio demuestran su valor, siempre que las prueben con sus propios errores.

ElevenLabs ha publicado un ejemplo de su cliente Eneco. Según ElevenLabs, en llamadas reales de clientes el agente reconoció correctamente los códigos postales neerlandeses al primer intento un 40% más a menudo, y los números de vivienda un 15% más a menudo. Tómalo como una ilustración del proveedor, no como una previsión para tu propio vocabulario.

Para vocabularios más grandes existe keyterm_library. Data Studios señala que la documentación dice que una biblioteca puede contener hasta 10,000 términos, mientras que otra línea de la misma página menciona 100,000. Si tu diseño depende de una biblioteca muy grande, confirma primero el límite real con ElevenLabs.

El keyterm prompting es un complemento de pago, que figura a $0.05 por hora en la página de precios de la API, así que selecciona con cuidado los términos de la biblioteca en lugar de añadir todos los que tengas. Un ciclo sencillo funciona bien:

1. Extrae transcripciones de llamadas reales y marca los términos que el modelo transcribió mal.
2. Agrupa los errores por tipo, como nombres, códigos alfanuméricos, direcciones y términos de producto.
3. Añade los términos que fallan con frecuencia y afectan al resultado del negocio.
4. Vuelve a procesar el mismo audio con y sin la biblioteca.
5. Revisa la biblioteca de forma periódica y elimina los términos que ya no ayudan.

Si quienes llaman cambian de idioma a mitad de la conversación, te sugerimos probar con grabaciones que realmente contengan alternancia de código, y consultar la documentación de modelos y la referencia de la API para ver cómo tratan las opciones multilingües tus pares de idiomas, en lugar de adivinar.

Diarización en vivo: qué permite y cuánto fiarse de ella

Las etiquetas de hablante en vivo permiten crear notas de reunión continuas con nombres asociados, herramientas de asistencia al agente que reaccionan solo al cliente y control de calidad de llamadas que separa al agente del cliente mientras la llamada sigue en curso.

ElevenLabs informa que, en la parte en inglés de su conjunto de datos reales de 16 idiomas, Scribe v3 Live tiene una tasa de error de diarización de 3.1%, frente a entre 5.9% y 7.3% de los demás modelos en tiempo real que probó. Para procesamiento por lotes, la empresa afirma que Scribe v3 comete un 17% menos de errores de diarización que Scribe v2 en grabaciones con tres o más hablantes, una dificultad habitual para la diarización.

Toma estas cifras con cautela. AlphaSignal señala que los resultados de diarización provienen de un conjunto de datos interno separado que abarca reuniones, llamadas de agentes y notas de voz en 16 idiomas, y que estos resultados internos no se han verificado de forma independiente. ElevenLabs dice que planea publicar ese conjunto de datos como código abierto.

Prueba los casos difíciles: habla superpuesta, voces que suenan parecidas, personas que se unen tarde y tramos largos en los que domina una sola persona. Nuestras comprobaciones del traspaso de hablante a transcripción con habla superpuesta también se aplican aquí.

Precios de Scribe v3 Live, complementos y facturas predecibles

*Nota de la tabla: las tarifas de los complementos son las tarifas de lista de la API. Confirma las tarifas de complementos en tiempo real que se aplican a tu plan.*

Los complementos son donde crece la factura. Data Studios estima que los complementos pueden aumentar la factura por lotes en un 60% y la factura en vivo en aproximadamente un 91%, y recomienda activarlos solo donde el vocabulario personalizado o el formato automático eliminen trabajo manual.

Dos hábitos ayudan. Primero, activa los complementos por flujo de trabajo, no en toda la cuenta. Una línea de siniestros que escucha números de póliza todo el día puede justificar los keyterms, mientras que una grabadora general de reuniones quizá no. Segundo, haz seguimiento del coste por hora útil: el audio que produjo una transcripción utilizable sin corrección manual. Una hora más barata que aún necesita limpieza humana no es realmente más barata.

Opciones de cumplimiento normativo y retención de datos

Para clientes Enterprise, ElevenLabs ofrece el Zero Retention Mode. La documentación indica que, en este modo, la mayoría de los datos de solicitudes y respuestas se eliminan inmediatamente una vez completada la solicitud.

Fíjate en la palabra «mayoría». Lee la página para saber qué queda excluido y regístralo en tu evaluación de protección de datos. Si manejas información sanitaria, pregunta directamente a ElevenLabs si hay un Business Associate Agreement de HIPAA disponible en tu plan y si cubre las funciones en tiempo real que piensas usar.

Revisa también tus propios sistemas. La eliminación por parte del proveedor no sirve de mucho si tu aplicación, tus registros o tu almacén de datos analíticos conservan indefinidamente el audio sin procesar y las transcripciones, y eso incluye los registros de depuración que generará tu evaluación.

Antes de probar: por qué las cifras del proveedor no bastan

Todas las cifras de precisión de los materiales de lanzamiento las informa el proveedor, y las propias páginas de ElevenLabs no coinciden del todo. El blog cita una reducción del 43% en el WER semántico en 102 idiomas, mientras que la documentación de modelos dice que, en FLEURS con 73 idiomas, Scribe v3 Live tiene un WER semántico un 44% menor que Scribe v2 Realtime. Cita una sola fuente con precisión en lugar de mezclarlas. Las puntuaciones solo son comparables cuando conoces el protocolo que hay detrás, como argumentamos en por qué las puntuaciones de benchmark necesitan protocolos.

El benchmark también tiene límites. Como señala AlphaSignal, dado que FLEURS contiene habla leída y limpia, sus resultados de WER no demuestran el rendimiento en llamadas ruidosas o conversaciones con mucha superposición.

Los promedios también ocultan grandes variaciones entre idiomas. ElevenLabs informa mejoras de Live del 77% para el griego, 54% para el danés, 45% para el croata y 36% para el hindi. Para procesamiento por lotes, informa un 42% para el alemán, un 35% para el español y un 23% para el inglés. Si tu tráfico es mayoritariamente en inglés, tu mejora puede quedar bastante por debajo del promedio multilingüe.

Existen señales independientes, pero son instantáneas. DEV Community informó que en la clasificación de Artificial Analysis para audio grabado, consultada el 12 de noviembre, Scribe v3 ocupaba el segundo puesto entre 64 modelos con un 1.9% de error de palabras, detrás de Alibaba Cloud Fun-Realtime-ASR-preview con un 1.7%. Una clasificación de audio grabado no dice nada directo sobre el comportamiento en tiempo real con tu tráfico. Por eso la prueba siguiente se ejecuta con tu propio audio.

El Swap-Safe Scorecard: cómo probar Scribe v3 Live con tu propio audio

El Swap-Safe Scorecard es un plan de siete pasos que termina en una sola tabla: el mismo audio, ambos modelos, seis filas. Completa las dos columnas de resultados y acuerda la regla de decisión con las partes interesadas antes de que nadie vea los resultados.

Regla de decisión: v3 Live gana solo si mejora las filas vinculadas a tu resultado de negocio sin empeorar las interrupciones ni el coste por hora útil.

Paso 1: Crea un conjunto de evaluación representativo. Toma muestras de tráfico real, incluidas llamadas ruidosas, acentos variados, conversaciones cruzadas, términos del dominio y todos los idiomas que atiendes. Obtén el consentimiento adecuado y aplica tus reglas de retención al propio conjunto.

Paso 2: Escribe las referencias y fija las filas. Crea transcripciones y etiquetas de hablante de referencia para un subconjunto, y fija las métricas antes de empezar las pruebas.

Paso 3: Ejecuta ambos modelos en paralelo. Envía el mismo audio a ambos con una configuración idéntica. Después repite con los keyterms activados, para poder separar la mejora del modelo de la del complemento.

Paso 4: Traduce el WER a impacto en el negocio. ElevenLabs ofrece un marco útil: una reunión de una hora a 150 palabras por minuto son unas 9,000 palabras, así que la diferencia entre un WER del 4% y uno del 2% son 180 palabras erróneas, tres por cada minuto en que alguien estuvo hablando. Haz el mismo cálculo para la duración de tus propias llamadas y pondera los errores en las entidades que determinan los resultados.

Paso 5: Mide el comportamiento del agente de principio a fin. Con la predicción de turnos activada, haz seguimiento de las interrupciones, el retraso en las respuestas y la recuperación cuando los usuarios siguen hablando. Una transcripción más limpia que hace que la conversación se sienta peor no es una victoria.

Paso 6: Usa los benchmarks públicos como comprobación de cordura. ElevenLabs informa que Scribe v3 reduce el WER en Earnings-22, que son llamadas financieras en inglés con acento, de 5.99% a 3.91%, y en VoxPopuli, que es habla del Parlamento Europeo, de 2.13% a 1.71%. Consulta el blog de lanzamiento para confirmar si estas cifras describen el modelo por lotes o el modelo Live antes de usarlas como referencia para tiempo real.

Paso 7: Despliega de forma gradual. Mueve el tráfico por cliente o por porcentaje, vigila las filas de la tabla en paneles en vivo y mantén una reversión a v2 con un solo interruptor hasta que el nuevo modelo haya resistido un ciclo de negocio completo.