NVIDIA Nemotron 3 Diarization: خريطة التسليم من المتحدث إلى النص للكلام المتداخل

تخيل نصا افتراضيا لمكالمة. يتحدث شخصان فوق بعضهما. تعرض الواجهة speaker_1 وspeaker_2 وspeaker_3. يقول نظام تمييز المتحدثين إن قناتين مجهولتي الهوية كانتا نشطتين في اللحظة نفسها. سمع نظام ASR موجة صوتية مختلطة واحدة. الآن يجب على المنتج أن يقرر أي كلمات تنتمي إلى أي قناة، وأي الكلمات غير مؤكدة، وما إذا كان ينبغي لأي تسمية أن تبقى عندما يعيد المستخدم نفسه الاتصال.

أصدرت NVIDIA نموذج Nemotron 3 Diarization في 23 سبتمبر 2026. وهو يوسع نهج Sortformer السابق للبث بأربعة متحدثين إلى ثماني قنوات للمتحدثين. بالنسبة إلى منشئي النصوص، التغيير المفيد هو إشارة النشاط. أما تحويل هذه الإشارة إلى كلمات منسوبة بصورة صحيحة فما زال يتطلب مرحلة ASR متوافقة ومعالجة دقيقة لحالة الجلسة.

لماذا لا تعني ثماني قنوات لتمييز المتحدثين نصا لثمانية أشخاص

ما الذي يخرجه Nemotron 3 Diarization

تصف NVIDIA نموذج Nemotron 3 Diarization بأنه نموذج مفتوح الأوزان لتمييز المتحدثين يحتوي على 100M معلمة. يستهلك صوتا أحادي القناة بتردد 16 kHz وينتج احتمالات نشاط المتحدث عبر ما يصل إلى ثماني قنوات إخراج. تصف بطاقة النموذج ومواد الإصدار مخرجا على هيئة الزمن في مقابل قنوات المتحدثين، بخطوة افتراضية قدرها 10 ms. يستخدم النموذج ميزات إدخال قدرها 80 ms، مبنية عن طريق تكديس ثماني ميزات مدة كل منها 10 ms. يمنح ذلك إشارة نشاط دقيقة. لكنه لا يحل كل حدود الكلمات.

يقدر نظام تمييز المتحدثين القنوات مجهولة الهوية النشطة. ولا يستطيع بمفرده تحديد شخص مسمى أو إسناد كل كلمة متداخلة.

ما الذي لا يخرجه

لا يخرج Nemotron 3 Diarization نصا. ولا يفصل الأصوات المتداخلة إلى تدفقات صوتية فردية نظيفة. ولا يوفر هوية بيومترية. تسمية مثل speaker_2 هي قناة محلية للجلسة تعتمد على ترتيب الوصول، وليست ملفا دائما لشخص. إذا انقطع اتصال مستخدم، أو أعاد الاتصال، أو أعاد التطبيق ضبط ذاكرته المؤقتة، فقد تتغير تلك التسمية.

يمكن لمساعد اجتماعات، أو أداة مكالمات دعم، أو مسجل مقابلات، أو محرر بودكاست، أو نظام مراجعة صوت ميداني، أن يستخدم مسار النشاط كدليل. ولا ينبغي له أن يعرض ذلك الدليل كحقيقة نهائية عندما يكون التداخل، أو عدم يقين ASR، أو إعادة ضبط الجلسة عوامل قائمة.

النموذج الذهني المفيد

تستخدم هذه المقالة خريطة Optijara للتسليم من المتحدث إلى النص. تغطي الخريطة ساعة الإدخال، والنشاط مجهول الهوية، والاقتران مع ASR، وعدم يقين التداخل، وحالة كل جلسة، والإنهاء على مستوى التطبيق، والنتائج المقيسة. يستند التحليل إلى التوثيق العام ومواد المصادر. لم تشغل Optijara الاستدلال ولم تعيد إنتاج المعايير المنشورة. خطوات التنفيذ والتقييم أدناه هي اختبارات مقترحة.

ما الذي يغيره إصدار سبتمبر لتطبيقات الكلام

اقرأ مواد الإصدار معا

اقرأ منشور الإصدار، وبطاقة النموذج، ودليل التكامل معا. يحدد الإصدار النموذج الجديد، وتعرف البطاقة مخرجات النشاط وإعدادات البث المسبقة، ويشرح الدليل مسار ASR المقترن. يسبق الدليل الإعلان، لذلك فهو توثيق تنفيذ حالي، وليس خدمة مستضافة أطلقت حديثا. ثبت مراجعات النموذج ونسخة NeMo Speech قبل الاختبار.

تمييز المتحدثين المستقل في مقابل تكامل ASR

يمكن لتمييز المتحدثين المستقل أن يعلق على ملف أو تدفق بقنوات المتحدثين النشطة. أما تكامل ASR ففيه مواضع أكثر للفشل. يستخدم الدليل multitalker-parakeet-streaming-0.6b-v1 للإنجليزية، بينما تمتلك بطاقات ASR أخرى للبث من NVIDIA ملفات لغوية وهندسة مختلفة متعددة اللغات. ينبغي للفرق مقاومة ضبط مقاطع تمييز المتحدثين بمعزل ثم تركيبها على ASR لاحقا. يجب أن تتوافق ساعة الإطارات، وسياق الانتباه، وسياسة الطوابع الزمنية، وسلوك الذاكرة المؤقتة.

أرقام المعايير تحتاج إلى سياق

يصف منشور الإصدار من NVIDIA نتائج VoiceArena أولية من 139 محادثة باللغة الإنجليزية ومقارنات DER منفصلة خاصة بشروط محددة. تساعد هذه الأرقام في تحديد نطاق الاختبارات، لكنها ليست تقييما للمنتج. يجمع DER الكلام الفائت، والإنذار الخاطئ، والخلط بين المتحدثين على زمن المتحدث المرجعي. يمكن لمراجع RTTM الدقيقة، والهوامش الزمنية، واحتساب التداخل، والمحاذاة القسرية، والظروف الصوتية أن تغير قراءة النتيجة نفسها.

يمكن أن تكون أرقام الإنتاجية مضللة أيضا. فتسريع كبير في عامل الزمن الحقيقي (RTFx، أي مدة الصوت مقسومة على زمن المعالجة) ضمن إعداد محدد للدفعة، والدقة، والترجمة البرمجية، والعتاد، ليس هو نفسه زمن الاستجابة الحي من الطرف إلى الطرف لنظام يواجه المستخدم. ينتظر المستخدم التخزين المؤقت للإدخال، والحوسبة، والنقل، وASR، وتحديثات الواجهة، والتخزين، والإنهاء. يقدم تحليل Optijara لتوقيت مراحل الترميز وفك الترميز في OpenVINO GenAI التمييز نفسه لمسار استدلال مختلف.

خريطة التسليم من المتحدث إلى النص

خريطة التسليم من المتحدث إلى النص هي خريطة معمارية للمنتج من أجل تحويل النشاط مجهول الهوية إلى مقاطع نصية يمكن للشخص الوثوق بها، أو على الأقل الاعتراض عليها بدليل.

1. ساعة الإدخال

ابدأ بساعة الصوت، لا بالنص. يجب إعادة أخذ عينات PCM الوارد وتأطيره قبل أن يتمكن تمييز المتحدثين وASR من الاستدلال عليه. إذا كانت الخدمة تقبل صوت المتصفح، وصوت الهاتف، والملفات المرفوعة، وتسجيلات الهاتف المحمول، فطبع معدل العينة ومعالجة القنوات قبل تغذية النموذج. يتوقع نظام تمييز المتحدثين صوتا أحادي القناة بتردد 16 kHz، لذلك ينبغي للتطبيق أن يجعل هذا التحويل صريحا وقابلا للاختبار.

2. النشاط مجهول الهوية

ينتج نظام تمييز المتحدثين قنوات نشاط مجهولة الهوية. يمكنه أن يظهر أن القناة 0 والقناة 3 كانتا نشطتين في الوقت نفسه. ولا يمكنه أن يقول إن شخصين مسميين تحدثا في الوقت نفسه إلا إذا ربطت طبقة هوية منفصلة، بموافقة مناسبة، تلك القنوات بالأشخاص.

3. اقتران ASR

اقتران ASR هو الموضع الذي تصبح فيه عروض كثيرة هشة. السكربت المساعد الذي يعيد تشغيل manifest هو نقطة بداية. وليس خدمة ميكروفون أو WebSocket إنتاجية. يحتاج كود الإنتاج إلى تحميل أوزان النموذج مرة واحدة حيثما أمكن، ومخازن مؤقتة لكل عميل، وذاكرات مؤقتة لكل عميل، وحالة مفكك الترميز، وسجل الطوابع الزمنية، وسياسة تفريغ.

استخدم speech_to_text_multitalker_streaming_infer.py من الدليل لإعادة تشغيل الملفات أو manifests عبر مسار البث. يجب على خدمة ميكروفون أو WebSocket حقيقية أن تغذي الصوت الجديد الوارد إلى جلسة عميل مستمرة بدلا من إعادة تشغيل سكربت الإعادة ذلك مرارا.

4. عدم يقين التداخل

لا ينبغي تسطيح النشاط المتداخل إلى يقين زائف. إذا كانت قناة واحدة نشطة عند منتصف كلمة، يمكن للتطبيق أن يسمي الكلمة بتلك القناة. إذا كانت قنوات متعددة نشطة، فضع علامة على المقطع كتداخل أو غموض ما لم يكن نظام ASR مصمما ومقيما صراحة للإسناد الواعي بالتداخل.

أبق علامة التداخل مرئية عندما لا يكون الإسناد محلولا. تغطي خريطة تقييم ضوضاء Vaani والطوابع الزمنية للأحداث من Optijara درسا ذا صلة. لا تكون أدلة الطوابع الزمنية ذات قيمة إلا عندما يحفظ التطبيق ما يستطيع الدليل إثباته، وما لا يستطيع إثباته.

5. حالة الجلسة

تحتاج كل جلسة عميل نشطة إلى حالة معزولة: المخازن المؤقتة، والذاكرة المؤقتة، وحالة مفكك الترميز، وسجل المتحدثين، والطوابع الزمنية، وحالة الإنهاء. قد تكون الأوزان المشتركة معقولة. أما حالة الجلسة المشتركة فليست كذلك. إذا أعاد عميل الاتصال، ينبغي للتطبيق أن يقرر ما إذا كان سيواصل جلسة بدليل استمرارية صريح أو يبدأ جلسة جديدة بتسميات قنوات جديدة.

6. الإنهاء على مستوى التطبيق

ينبغي للنص المتدفق أن يميز بين النص المؤقت والنص النهائي. تساعد الكلمات المؤقتة الواجهة على أن تبدو حية، لكن حفظ النص النهائي ينبغي أن يتضمن دليل الطوابع الزمنية، ودليل قناة المتحدث، وحالة التداخل، وسجل المراجعات. ينبغي لكائن النص أن يحفظ عدم اليقين بدلا من الكتابة فوقه. السجل التالي سجل تطبيقي توضيحي، وليس مخرجا مقيسا من النموذج أو مخططا رسميا من NeMo. طوابعه الزمنية ونصه مخترعان فقط لإظهار الحقول المقترحة.

{
  "segmentId": "seg_001",
  "startMs": 12840,
  "endMs": 15420,
  "text": "we should hold that decision until the next test clip",
  "speakerChannel": "speaker_2",
  "attributionStatus": "single_active_channel",
  "overlapChannels": [],
  "sourceEvidence": {"diarizationWindowMs": [12800, 15500], "asrTimestamps": true},
  "finality": "final"
}

7. النتائج

يهم DER، لكن فائدة المنتج تعتمد أيضا على أخطاء الكلمات المنسوبة إلى المتحدثين، وخطأ عدد المتحدثين، والزمن إلى النص المؤقت، والزمن إلى النص النهائي، وزمن الاستجابة p95 من الطرف إلى الطرف، والذاكرة، والتزامن. قس النص النهائي وكذلك كل مرحلة نموذجية.

ثلاثة أنماط تنفيذ

النمط A: تمييز متحدثين مستقل للتعليق والمراجعة

يعمل تمييز المتحدثين المستقل جيدا عندما تكون المهمة مراجعة الصوت، أو تحديد من كان نشطا ومتى، أو إعداد التعليق. وهو أيضا أبسط طريقة لفحص سلوك القنوات قبل إضافة ASR.

تستخدم قيم الذاكرة المؤقتة، وFIFO، والمقطع، والسياق الأيمن، والتحديث إطارات ترميز قدرها 80 ms. تصف الصيغة (chunk + right) * 80 ms زمن استجابة مخزن الإدخال المؤقت، مع استبعاد الحوسبة، والنقل، وASR، والواجهة، والاستمرارية. استخدم الإعدادات الخمسة كلها من صف واحد، ثم استدع _check_streaming_parameters(). مخزن 80 ms ممكن تقنيا لكنه أقل من أدنى تكوين موصى به. هذه الصفوف المستقلة ليست إعدادات جاهزة للإسقاط داخل ASR مقترن.

النمط B: ASR غير متصل مع إسناد المتحدث عند نقطة المنتصف

الضم غير المتصل شائع للتسجيلات. شغل ASR، وشغل تمييز المتحدثين، ثم أسند كل كلمة أو مقطع باستخدام الطوابع الزمنية. يمكن لقاعدة بسيطة عند نقطة المنتصف أن تعمل كخط أساس. قناة نشطة واحدة تسمي الكلمة. قنوات نشطة متعددة تضع علامة تداخل أو غموض. عدم وجود قناة نشطة يترك الكلمة بلا إسناد. الخطأ هو التظاهر بأن قص الصوت المختلط عند الطوابع الزمنية يفصل الأصوات. هو لا يفعل ذلك.

النمط C: ASR متدفق مقترن مع تكييف النشاط

يوثق دليل تكامل ASR الحالي اقترانين بتكييف وسياق ترميز مختلفين.

يمتلك Nemotron 3.5 ASR ثماني لغات محلية إضافية مدعومة من المرمز وتتطلب تكييفا، وهي ليست جاهزة مباشرة. يمكن لمساره المقنع للمتحدث الواحد أن يتعامل مع التداخل إلى حد ما، وليس كضمان. يستنتج المساعد هندسة مقاطع تمييز المتحدثين من مرمز ASR. تحقق من خطوات الإطارات وأبق الإعدادات الخاصة بالنموذج معا. يتجنب cache_gating=true عمل ASR غير الضروري للقنوات غير النشطة، لكن مزيدا من تدفقات المتحدثين المتزامنة ما زال يتطلب حالة وحوسبة.

مصفوفة القرار

قائمة بناء لنص متدفق منسوب إلى المتحدثين

حمل الأوزان المشتركة مرة واحدة عندما يسمح تصميم الخدمة بذلك، لكن اعزل كائنات SpeakerTaggedASR، والمخازن المؤقتة، والذاكرات المؤقتة، ومفككات الترميز، وسجل الطوابع الزمنية، وحالة الإنهاء لكل عميل. لا تعني ثماني قنوات لتمييز المتحدثين ثماني نسخ كاملة من النموذج. كما أن الأوزان المشتركة لا تلغي تكاليف التزامن.

أعد أخذ عينات PCM الوارد قبل هندسة القفزات المطلوبة. لا تنسخ تعليق إعادة أخذ عينات نائب من مثال وتعده إنتاجا. تحقق من خطوات الإطارات، وتكوين المقاطع، والسياق الأيمن قبل قياس زمن الاستجابة.

عالج كل الإطارات المكتملة وسلسل الاستدعاءات التي تغير حالة الجلسة. يمكن لحالات السباق في إنهاء النص أن تنشئ انجرافا في تسمية المتحدث يبدو كخطأ نموذج، حتى عندما يكون التطبيق هو سببه.

عند الإيقاف، أو قطع الاتصال، أو انقطاع الشبكة، فرغ الصوت المتبقي، واحفظ المقاطع النهائية، وأعد ضبط الحالة عمدا. إذا كانت استمرارية إعادة الاتصال مهمة، فسجل كيف يثبت التطبيق الاستمرارية بدلا من افتراض أن speaker_2 ما زال يعني الشخص نفسه.

خزن أوقات البداية والنهاية، وقناة المتحدث، وحالة الإسناد، وقنوات التداخل، ومصدر الدليل، والنهائية، وسجل المراجعات. تجعل هذه الحقول تصحيح الأخطاء ممكنا عندما يعترض مستخدم على نص.

ما تخطئ فيه الفرق في عمليات التسليم من تمييز المتحدثين إلى ASR

الخطأ الأول هو التعامل مع speaker_2 كهوية حقيقية. إنها قناة محلية للجلسة. وليست اسما، أو تسجيل دخول، أو ملف موظف، أو هوية بيومترية.

الخطأ الثاني هو افتراض أن تسميات إعادة الاتصال مستقرة. يمكن لإعادة الضبط أن تغير قنوات ترتيب الوصول. ينبغي للتطبيقات إظهار الاستمرارية فقط عندما تمتلك دليلا منفصلا.

الخطأ الثالث هو تقطيع الصوت المختلط بالطابع الزمني وتوقع أصوات منفصلة. يمكن لتقطيع الطوابع الزمنية عزل نافذة زمنية، لا فصل الأصوات داخل موجة مختلطة. يحتاج التداخل إلى معالجة صريحة.

الخطأ الرابع هو ادعاء جلسات غير محدودة من الاستدلال المجزأ. تزيل العملية المجزأة افتراض مدة ملف ثابتة. ولا تضمن سلوكا موثوقا عبر كل حالة صوتية، وشبكية، ولغوية، وتزامنية.

الخطأ الخامس هو الإبلاغ عن DER فقط وتجاهل الإسناد على مستوى الكلمات. لا يضمن DER منخفض أن يرى المستخدمون نصا موثوقا. أخطاء الكلمات المنسوبة إلى المتحدثين، والتداخل الغامض، وتأخر الإنهاء أمور مهمة.

خطة اختبار قبل اعتماد Nemotron 3 Diarization

تعامل مع هذا كخطة اعتماد تستند إلى التوثيق العام وفحص المصادر، لا كتشغيل معيار مكتمل.

ثبت مراجعة النموذج، ومراجعة ASR المرافق، ونسخة المستودع قبل مقارنة النتائج. وإلا فقد يجعل تغيير لاحق في بطاقة النموذج أو المستودع تشغيلين اختباريين غير قابلين للمقارنة.

ابن مجموعة اختبار صغيرة تتضمن متحدثين يصلون متأخرين، ومقاطعات، وكلمات متداخلة، وعودة متحدث بعد صمت، وإعادة اتصال عميل، وميكروفونات متنوعة، وضوضاء خلفية، ومقطعا ضاغطا بأكثر من ثمانية متحدثين موسوما كخارج النطاق.

قس زمن الاستجابة المؤقت والنهائي بشكل منفصل. يختبر المستخدمون هاتين الحالتين بشكل مختلف. وافصل أيضا زمن مخزن الإدخال المؤقت عن الحوسبة، والشبكة، وASR، وعرض الواجهة، والتخزين.

وثق قيود اللغة، والصوتيات، والموافقة بجانب التقييم. تعتمد تغطية اللغة على ASR المرافق، لا على نظام تمييز المتحدثين فقط. يعتمد السلوك الصوتي على الميكروفونات، وضوضاء الغرفة، والتداخل، وجودة القناة. قد يتطلب تسجيل الكلام وتمييز المتحدثين موافقة وضوابط خصوصية بحسب سياق المنتج والولاية القضائية.

تختلف شروط النماذج والبرمجيات أيضا: يستخدم نظام تمييز المتحدثين OpenMDW 1.1، ويستخدم كود NeMo Speech ترخيص Apache 2.0، ويمتلك ASR المرافق شروط نموذج خاصة به. الأوزان المفتوحة لا تلغي التزامات موافقة التسجيل.

ملخص قابل للقراءة آليا

{"framework":"Speaker-to-Transcript Handoff Map","input":{"sample_rate_hz":16000,"channels":1},"max_speakers":8,"identity_scope":"session-local anonymous channels","preserve":["overlap ambiguity","timestamps","tentative versus final text"],"deployment_checks":["matched ASR frame geometry","isolated client state","transcript-level evaluation"],"test_status":"proposed, not executed by Optijara"}