اختبار قبول تشغيل K-EXAONE 2.0: كيفية تقييم تقديم MoE مفتوح الأوزان 750B-A37B قبل الإنتاج

لا ينبغي قبول K-EXAONE 2.0 كقرار نشر واحد. فهو يصل كعائلة من الآثار الرسمية ومسارات التقديم، ويمكن أن تتباعد هذه المسارات بعد دخول التكميم، وتوجيه الخبراء النشطين، والسياق الطويل، والجودة متعددة اللغات، وذيول زمن الاستجابة، والرجوع إلى الصورة. أرقام بطاقة النموذج مفيدة. لكنها ليست كافية.

سؤال الإنتاج أضيق وأقل استعراضا. أي عبء عمل يمكن قبوله، وعلى أي مسار، وتحت أي حدود، وبأدلة قوية بما يكفي ليوقع المشغل سجل القرار؟ هذا هو المعيار. يتعامل هذا المنشور مع الإصدار كاختبار قبول لا كملخص إطلاق. يجب قراءة ادعاءات LG AI Research حول المعايير والسرعة والأداء كادعاءات مورد إلى أن يعاد إنتاجها على عتادك، وبيئة التشغيل لديك، ومزيج التعليمات، وأطوال السياق، وملف التزامن. إنها افتراضات بداية مفيدة، وليست دليلا إنتاجيا.

إذا كان فريقك قد راجع مؤخرا التحقق من أثر Kimi K3، أو بنيات TensorRT القابلة للملاحظة، أو قرارات تخصيص الذكاء الاصطناعي المحلي، أو توجيه السعر مقابل الأداء، فإن الانضباط نفسه ينطبق هنا. ثبت الأثر أولا. ثم قس المسار.

لماذا يحتاج K-EXAONE 2.0 إلى اختبار قبول، لا إلى ملخص إطلاق

تدرج LG AI Research نموذج K-EXAONE 2.0 750B-A37B بوصفه نموذج Mixture of Experts متعدد اللغات مع 750B من إجمالي المعلمات و37B من المعلمات النشطة. تذكر بطاقة النموذج الرسمية طول سياق قدره 262,144 رمزا، و256 خبيرا إجماليا، و8 خبراء مفعلين، وترخيص Apache-2.0، وعشر لغات مدعومة: الكورية، والإنجليزية، والإسبانية، والألمانية، واليابانية، والفيتنامية، والفرنسية، والإيطالية، والبولندية، والبرتغالية. وتذكر بطاقة النموذج أيضا أن حد المعرفة هو الربع الثاني من عام 2025.

هذه الحقائق مهمة. لكنها لا تجيب وحدها عن سؤال النشر. يمكن للمعلمات النشطة أن تقلل حوسبة كل رمز مقارنة بنموذج كثيف له الحجم الإجمالي نفسه، بينما تظل منظومة التقديم مضطرة إلى تخزين مخزون خبراء أكبر بكثير وتقسيمه وتوجيهه ومراقبته. الفجوة بين جاذبية بطاقة النموذج وجاهزية الإنتاج هي المكان الذي تحدث فيه أخطاء مكلفة كثيرة.

يجب على فريق الإنتاج التحقق من مراجعة المستودع، وبيان الملفات، والتكوين، والمجزئ، ومسار التقديم، وغلاف الذاكرة، وسلوك الترابط، واستقرار السياق الطويل، وانحدار الجودة، وذيول زمن الاستجابة، ومسار الرجوع قبل اعتماد أي عبء عمل. هذه عملية متطلبة لأن تقديم MoE كبير مفتوح الأوزان له سطح تشغيلي واسع.

اختبار قبول تشغيل K-EXAONE من Optijara هو إطار قرار للمسارات. يساعد الفريق على تحديد ما إذا كان BF16 أو FP8 أو NVFP4 أو DSpark أو نموذج أصغر أو واجهة API مستضافة هو المسار الصحيح لعبء عمل محدد. ولا يفترض أن مسارا واحدا يفوز في كل مكان. إذا لم يستطع الفريق تحمل تشغيل مرجعي مناسب على BF16، فعليه أن يكون حذرا من الرهان على سير عمل إنتاجي عبر أكبر مسار.

الخطوة 1: ثبت الأثر قبل أن تقيس النموذج

تحدث بوابة القبول الأولى قبل أن يولد النموذج أي رمز. ثبت مستودع Hugging Face الدقيق، والمراجعة، وبيان الملفات، والترخيص، والتكوين، وملفات المجزئ، وسطر أمر التقديم. التقط عنوان URL القانوني لبطاقة النموذج، وصفحة Files and versions، وconfig.json، وLICENSE، وبطاقات نماذج FP8 وNVFP4 وDSpark الرسمية، ومستودع GitHub، والمدونة الرسمية، والتقرير الفني، وإرشادات التقديم الرسمية المستخدمة للتشغيل.

صالح الادعاءات عبر بطاقة النموذج، والتقرير الفني، ومستودع GitHub، وملف التكوين، والنسخ المكممة. إذا وصفت صفحة ما الدعم بطريقة مختلفة عن صفحة أخرى، فتعامل مع ذلك كبند تحقيق. لا تفترض أن الصفحة الأحدث مظهرا هي الصحيحة. تنتمي مراجعة الترخيص إلى البوابة نفسها. قد يكون Apache-2.0 ملائما للاستخدام التجاري، لكن الفرق لا تزال تحتاج إلى معالجة الإشعارات، ومراجعة إعادة التوزيع، وقواعد التغليف الداخلي، وفحوص السياسة النهائية. قد تؤدي الاستضافة، أو الضبط الدقيق، أو إعادة توزيع النموذج، أو الصور المشتقة إلى مسارات مراجعة داخلية مختلفة.

هنا أيضا ينبغي للفرق أن تكتب ما لا تختبره. على سبيل المثال، لا ينبغي الاستشهاد لاحقا بتقييم يغطي استخراجا إنجليزيا فقط عند سياق 8K كاعتماد لتلخيص قانوني كوري قرب حد 262K. انضباط النطاق يوفر الجدال لاحقا.

مصفوفة مسارات Optijara: BF16 مقابل FP8 مقابل NVFP4 مقابل DSpark

تسجل مصفوفة مسارات Optijara كل مسار حسب نضج الأثر، وملاءمة العتاد، وغلاف الذاكرة، وضغط الترابط، وخطر انحدار الجودة، ودعم التقديم، ووضوح التصحيح، وزمن البدء البارد، وبساطة الرجوع، والتكلفة لكل عبء عمل مقبول. الهدف ليس تتويج فائز. الهدف هو اختيار أخف مسار يجتاز بوابات عبء العمل.

عادة ما يكسب BF16 موقع خط الأساس لأنه يقدم أوضح مرجع للصحة، والتنسيق، وسلوك الرفض، والجودة متعددة اللغات، واستدعاء السياق الطويل. ينبغي الحكم على FP8 فقط بعد تعريف بوابات BF16. أما NVFP4 فهو مسار أكثر هجومية، لذلك يستحق مراجعة أشد للدقة الواقعية، والتنسيق، وسلوك اللغات الأقل شيوعا، وحالات حافة السياق الطويل. ويجب التعامل مع DSpark كمسار تشغيلي، لا كاختصار. تقول بطاقة النموذج الرسمية إن K-EXAONE 2.0 يدعم طريقتي MTP وDSpark لفك الترميز التخميني وتدعي أنهما يمكن أن تسرعا التوليد بنحو 3 إلى 5 مرات. يجب التعامل مع هذا الرقم كادعاء مورد إلى أن يعاد إنتاجه على العتاد وعبء العمل المستهدفين.

{
  "framework": "Optijara Route Matrix",
  "model": "K-EXAONE-2.0-750B-A37B",
  "routes": ["BF16", "FP8", "NVFP4", "DSpark"],
  "required_gates": ["artifact_integrity", "quality_delta", "long_context", "multilingual_regression", "latency_tails", "cost_per_accepted_workload", "rollback"],
  "default_baseline": "BF16",
  "rollback_target": "BF16 or hosted API, depending on capacity and incident class"
}

يمكن أن يجتاز مسار ما تقنيا ثم يخسر تجاريا. هذا ليس فشلا للاختبار. بل هو قيام الاختبار بعمله. إذا خفف FP8 ضغط الذاكرة لكنه زاد المراجعة اليدوية، أو استدعاءات البديل، أو خطر الحوادث، فقد يكون عبء العمل أرخص على BF16 أو نموذج أصغر أو واجهة API مستضافة.

أغلفة الذاكرة والشبكة والتوازي لنموذج MoE نشط بحجم 37B

لا ينبغي قراءة رقم 37B من المعلمات النشطة كميزانية ذاكرة 37B. بالنسبة إلى K-EXAONE 2.0، تصف البطاقة الرسمية 750B من إجمالي المعلمات، و37B من المعلمات النشطة، و256 خبيرا إجماليا، و8 خبراء مفعلين. يغير توجيه الخبراء النشطين حوسبة كل رمز، بينما يظل النظام محتاجا إلى ذاكرة وسعة ترابط للأوزان، والأوزان المكممة، وبيانات توجيه التعريف، وKV cache، ومخازن الدفعات، وتكاليف بيئة التشغيل، وهامش السلامة.

ينبغي اختبار توازي الخبراء والموتر وخط الأنابيب كسؤال طوبولوجيا. غير طول التسلسل، وحجم الدفعة، والمستخدمين المتزامنين، والرموز المولدة، ومزيج التعليمات. أدرج سيناريوهات انحراف الخبراء حيث قد تتوجه التعليمات المتشابهة بشكل غير متساو. راقب الاتصال الجمعي، والاصطفاف، والتحميل من المضيف إلى الجهاز، وانقطاعات NCCL، وفقاعات خط الأنابيب. قد يبدو متوسط زمن الاستجابة مقبولا بينما يتدهور p99 تحت شكل دفعة أو سياق محدد.

التحذير العملي بسيط. لا تستخدم عدد المعلمات النشطة كاختصار شراء. المسار الذي يتم تحميله ليس تلقائيا المسار الذي يصمد أمام حركة المرور أو السياق الطويل أو التعافي بعد طرح فاشل.

اختبارات موثوقية السياق الطويل وتعدد اللغات

تذكر بطاقة النموذج الرسمية طول سياق قدره 262,144 رمزا. تعامل مع ذلك كسطح موثوقية، لا كمربع اختيار. اختبر تعليمات قصيرة ومتوسطة وطويلة وقريبة من الحد. استخدم مشتتات استرجاع، وكيانات مكررة، ووضع إجابة متأخر، وتعليمات متعارضة، وضغط تلخيص، واستخراجا منظما. تتبع زمن prefill، ونمو KV-cache، وزمن أول رمز، واستقرار فك الترميز، وسلوك القطع، وأخطاء نافذة السياق، والأمانة.

تتكون مجموعة سياق طويل مفيدة من أربع طبقات: تعليمات إنتاج عادية، وتعليمات موسعة مع مشتتات، وتعليمات قريبة من الحد مع دليل الإجابة قرب النهاية، وتعليمات تنسيق عدائية تضغط JSON أو الجداول أو الاستشهادات. ينبغي مقارنة كل مسار مع BF16 على المدخلات نفسها. يمكن لمسار يجتاز التعليمات القصيرة أن يفشل رغم ذلك قرب حد السياق.

ينبغي أن يغطي انحدار تعدد اللغات اللغات العشر الموثقة: الكورية، والإنجليزية، والإسبانية، والألمانية، واليابانية، والفيتنامية، والفرنسية، والإيطالية، والبولندية، والبرتغالية. استخدم مهام متطابقة للاستخراج، والتلخيص، والاستدلال، وسلوك الرفض، وحفظ المصطلحات، والتنسيق. يمكن للفحوص الآلية التقاط فشل المخطط، أو الحقول الناقصة، أو تسرب اللغة، أو القطع. تظل المراجعة البشرية مهمة للفروق الدقيقة والنبرة ومصطلحات المجال.

قد يجيب نموذج عن تعليمات المعايير الإنجليزية جيدا لكنه يسيء التعامل مع مصطلحات بولندية، أو يسرب الإنجليزية إلى مخرجات فيتنامية، أو يفقد دليلا متأخرا في مستند ياباني طويل. ينبغي لمجموعة القبول أن تجعل هذه الإخفاقات مرئية قبل أن يجدها مستخدم.

زمن الاستجابة والإنتاجية والتكلفة لكل عبء عمل مقبول

ينبغي لقبول الإنتاج أن يقيس زمن البدء البارد، وزمن تحميل النموذج، وزمن أول رمز دافئ، وp50 وp95 وp99 لزمن أول رمز، وزمن فك الترميز، والرموز في الثانية، والطلبات المقبولة في الثانية، وتأخير الاصطفاف، ومعدل انتهاء المهلة، ومعدل إعادة المحاولة، واستخدام GPU. أبق سرعة الرموز الاصطناعية منفصلة عن إنتاجية عبء العمل المقبول. لا ينبغي احتساب الطلب إلا إذا اجتاز عتبات الجودة والتنسيق والسلامة وزمن الاستجابة والتكلفة.

التكلفة لكل عبء عمل مقبول أكثر صدقا من التكلفة الخام لكل رمز في فئة النشر هذه. يمكن أن يقلل التكميم ضغط الذاكرة، لكن إذا سبب مزيدا من إعادة المحاولات، أو المراجعة اليدوية، أو استدعاءات البديل، أو تعقيد الرجوع، فقد لا تتحسن تكلفة عبء العمل المقبول. وبالمثل، يمكن أن تكون واجهة API مستضافة أو نموذج أصغر خيارا أفضل عندما لا يبرر الحجم، أو احتياجات الخصوصية، أو أهداف زمن الاستجابة، أو مكاسب الجودة، أو النضج التشغيلي تقديم MoE كبيرا.

حدد العتبات قبل بدء الاختبار. إذا ظل الفريق يحرك العتبة بعد رؤية النتائج، فقد تحول التقييم إلى دفاع عن رأي.

دليل قبول الإنتاج: من البيان إلى الرجوع

استخدم هذا الدليل كترتيب التشغيل لتقييم K-EXAONE.

ينبغي أن يشمل حقن الفشل جزءا ناقصا، وملفا تالفا، وعدم تطابق المجزئ، وOOM، وانتهاء مهلة NCCL، واختلال توازن الخبراء، وانتهاء مهلة السياق الطويل، ومخرجا مشوها، وفشل سلامة، وقفزة حركة مرور، وتفعيل البديل. تختلف وضعية الرجوع حسب المسار. يمكن أن يكون BF16 خط أساس الصحة، لكنه قد يحتاج إلى بديل مستضاف إذا كانت السعة مقيدة. ينبغي أن يرجع FP8 وNVFP4 إلى BF16 أو تقديم مستضاف. وينبغي أن يرجع DSpark إلى مسار التقديم القياسي إذا أصبح سلوك التسريع غامضا أو غير مستقر.

يجب أن يكون سجل القرار مملا ومحددا: المسار المقبول، والمسارات المرفوضة، وروابط الأدلة، والعتبات التي تم اجتيازها، والحدود المعروفة، والمالك، وهدف الرجوع، وتاريخ إعادة الاختبار، وأعباء العمل المعتمدة. أي شيء أقل من ذلك يصبح صعب إعادة بنائه بعد أول حادث.

ما تخطئ فيه الفرق عند نشر MoE كبير مفتوح الأوزان

غالبا ما تقيس الفرق مراجعة غير مثبتة، وتثق بادعاءات سرعة المورد دون إعادة إنتاج، وتقيس متوسط زمن الاستجابة فقط، وتتجاهل KV cache للسياق الطويل، وتفترض أن المعلمات النشطة تساوي بصمة الذاكرة، وتتجاوز انحدار تعدد اللغات، وتتعامل مع التكميم كربح مجاني، وتفوت مراجعة الترخيص، أو تبدأ canary قبل وجود الرجوع. ينشئ كل خطأ نمط فشل مختلفا، من انجراف جودة صامت إلى حلقات إعادة محاولة مكلفة.

التحفظات عملية. تكلفة التنفيذ مهمة. توفر العتاد مهم. نضج بيئة التشغيل مهم. يمكن لمتطلبات الخصوصية، وتقادم التخزين المؤقت، وجودة مجموعة التقييم، والانحدارات الخاصة بالمسار، والمفاضلات التشغيلية أن تغير الإجابة الصحيحة. قد تتفوق واجهة API مستضافة أو نموذج أصغر على الاستضافة الذاتية عندما لا يحتاج عبء العمل إلى أكبر مسار، أو عندما تكون حجة الخصوصية ضعيفة، أو عندما لا يستطيع فريق العمليات امتلاك أنماط الفشل.

إذا أراد فريقك مساعدة في تحويل آثار الإصدار إلى مجموعة تقييم مثبتة، ومصفوفة اختيار مسار، وخطة اختبار تقديم، وقرار نشر جاهز للرجوع، يمكن أن تساعد Optijara. الجزء المهم هو اتخاذ قرار الإنتاج من الأدلة، لا من عنوان الإطلاق.