d-Matrix Raptor و NVIDIA NVLink Fusion: خريطة توزيع مراحل الاستدلال في الرفوف غير المتجانسة

لماذا يهم هذا الإعلان، وما الذي لا يثبته بعد

في 10 سبتمبر، وصفت d-Matrix و NVIDIA تعاونا لإدخال Raptor XPU المخطط له من d-Matrix في بنية NVIDIA التحتية للذكاء الاصطناعي على مستوى الرف عبر NVLink Fusion، مع إشارات إلى MGX و Vera CPUs و Spectrum-X واتصال Astera Labs. هذه إشارة معمارية حقيقية لفرق الاستدلال، لكنها ليست اختبار أداء لمنتج متاح للشحن.

هذا التمييز أهم من عنوان البيان الصحفي. تقول d-Matrix إن خروج تصميم Raptor إلى التصنيع متوقع قبل نهاية 2026، مع توقع توفر أول Raptor XPUs في MGX في الربع الرابع من 2027. Corsair هي منصة d-Matrix الموصوفة بأنها في الإنتاج اليوم. لذلك فالسؤال القريب ليس: «هل ينبغي أن يحل هذا محل حزمة استدلال قابلة للنشر الآن؟» السؤال الأفضل هو: «ما الذي يجب قياسه قبل أن يستحق رف غير متجانس ثقة الإنتاج؟»

رأيي أن الجزء المثير للاهتمام ليس قدرة مسرع آخر على الالتحاق بسردية رف متمحورة حول NVIDIA. الجزء المثير للاهتمام هو ما إذا كان يمكن فصل مرحلة prefill، وهي ملء السياق الأولي الذي يعالج الموجه ويبني حالة KV قبل توليد أول رمز، عن مرحلة decode، وهي توليد الرموز التالية تباعا باستخدام تلك الحالة، من دون دفع تكلفة تنسيق كبيرة تجعل الفصل مجرد عرض نظري. تضغط مرحلتا prefill و decode على الأنظمة بطرق مختلفة. تميل مرحلة prefill إلى مكافأة الحوسبة المتوازية عبر تسلسل الإدخال. أما مرحلة decode فتتعقد غالبا حول زمن التأخير بين الرموز، وحركة الذاكرة، والتزامن، وسلوك المجدول. إذا جمع رف مستقبلي بين NVIDIA GPUs و Vera CPUs المضيفة و Raptor XPUs عبر أنسجة توسعة رأسية وأفقية محددة، فلن يكون الفائز هو البائع صاحب أجمل مخطط لعرض النطاق الترددي. سيكون الفائز هو الطوبولوجيا التي تحسن وقت الوصول إلى أول رمز، وزمن التأخير بين الرموز، وتكلفة نقل الحالة، والاصطفاف، والإنتاجية المفيدة تحت هدف جودة النموذج نفسه.

لمنظور أوسع حول التوزيع، تعد مناقشة Optijara السابقة حول اختبارات توزيع النموذج على العتاد رفيقا مفيدا. تنطبق القاعدة نفسها هنا: المسرع جزء واحد فقط من مسار خدمة النموذج. وبالنسبة لضوابط قياس الأداء، فإن سلم دقة Qdrant Supernova FineWeb 10B مهم أيضا لأنه يتعامل مع القياس كسلسلة من مقارنات مضبوطة، لا كدرجة لافتة واحدة.

بنية الرف المعلنة ببساطة

تشير المواد المنشورة إلى عدة طبقات لا ينبغي دمجها في ادعاء مبهم واحد عن رف أسرع. NVLink Fusion هو المسار الذي تطرحه NVIDIA لربط السيليكون المخصص بنسيج التوسعة الرأسية عالي السرعة لديها. في هذا الإعلان، هذه هي طبقة النسيج التي تجعل خارطة طريق Raptor جديرة بالمتابعة، لأنها تقترح مستقبلا تستطيع فيه المسرعات غير المعتمدة على GPU أن تكون أقرب إلى أنظمة NVIDIA المسرعة مما ستكون عليه عبر مسار جهاز منفصل تقليدي.

Spectrum-X طبقة مختلفة. فهي موضوعة حول شبكات توسعة أفقية قائمة على Ethernet، وهذا مهم عندما تتواصل الرفوف والعناقيد خارج نطاق توسعة رأسية واحد. خلط المصطلحين يربك السؤال الهندسي. يتحدث NVLink Fusion عن اتصال التوسعة الرأسية حول الأنظمة المسرعة. ويتحدث Spectrum-X عن شبكات التوسعة الأفقية. كلاهما قد يهم في الاستدلال، لكن كل واحد منهما يضغط على حدود مختلفة.

MGX هو إطار التكامل للتصميم الميكانيكي والطاقة والتبريد. لا ينبغي قراءته كتعهد بأن كل مسرع يصبح قابلا للتبديل، أو أن أي منطقة ذاكرة تصبح مشتركة تلقائيا، أو أن برمجيات خدمة النموذج تستطيع نقل الحالة بلا عمل تشغيلي. يشار إلى Vera CPUs كمعالجات مضيفة في سياق البنية المعلنة. Raptor هو دور XPU المخطط. تم تسمية Astera Labs كشريك ربط، لكن الإعلانات العامة لا تدعم ادعاءات إضافية حول تفاصيل سيليكون غير مفصح عنها.

خلفية d-Matrix 3DIMC مهمة لأنها تشرح لغة البائع حول البنية المتمحورة حول الذاكرة، بما في ذلك حزمة من مستويين تجمع DRAM و SRAM بحسب وصف البائع. لا ينبغي التعامل معها على أنها HBM، أو Pavehawk، أو دليل إنتاج لرفوف Raptor.

خريطة توزيع مراحل الاستدلال

خريطة Optijara لتوزيع مراحل الاستدلال طريقة عملية لتقييم هذا النوع من خرائط طريق الرفوف غير المتجانسة. إنها إطار قياس، وليست ادعاء بأن Raptor ينفذ حاليا كامل الطوبولوجيا أدناه.

المرحلة 1: استقبال الموجه وتجميع الطلبات

القرار الأول ليس العتاد. إنه شكل حركة الطلبات. يحدد توزيع أطوال الموجهات، وأنماط الاندفاع، وإعادة استخدام السياق، وسياسة القبول ما إذا كان يمكن تجميع prefill بكفاءة. لا يستطيع نسيج الرف إنقاذ مجدول يخلط فئات طلبات غير متوافقة.

المرحلة 2: prefill كثيف على GPU

prefill مرشح طبيعي للعمل على GPU لأنه يمكن أن يستفيد من الحوسبة المتوازية الكثيفة عبر تسلسل الإدخال. في رف غير متجانس مستقبلي، ينبغي مقارنة مسار prefill بخط أساس على GPU نفسه، لا بورقة مواصفات مجردة لمسرع. المقياس هنا هو وقت الوصول إلى أول رمز تحت مزيج موجهات واقعي.

المرحلة 3: تمرير الحالة عبر نسيج الرف

هذه هي الحدود التي تقلل كثير من الإعلانات من شأنها. نقل الحالة المطلوبة من مرحلة إلى أخرى قد يضيف تهيئة بيانات الحالة للنقل، وتأخير النقل، والاصطفاف، واحتكاك تنسيقات الذاكرة. ارتفاع عرض النطاق الترددي للنسيج لا يعني تلقائيا انخفاض زمن التأخير المرئي للمستخدم.

المرحلة 4: مرشحو decode الموجهون إلى XPU

decode حساس لطول المخرجات، والتزامن، وسلوك الذاكرة المخبأة، والدقة العددية المدعومة، وزمن التأخير بين الرموز. قد يكون مسار decode على XPU جذابا إذا حسن التوليد المستدام تحت هدف الجودة وهدف الخدمة نفسيهما. يجب قياس ذلك. دعم NVLink Fusion وحده ليس دليلا.

المرحلة 5: الإكمال وفك الترميز وتغذية المجدول الراجعة

تنتهي حلقة خدمة النموذج بفك الترميز، وبث الاستجابة، وتغذية التحكم في القبول بالملاحظات. إذا كان طابور decode مزدحما، فقد تختفي مكاسب prefill. وإذا كانت إعادة استخدام الذاكرة المخبأة عالية، فقد تفوز طوبولوجيا مختلفة. تجبر الخريطة الفرق على مراقبة كل حد بدلا من الاحتفاء بمكون واحد.

{
  "framework": "Inference Phase Placement Map",
  "status": "conceptual evaluation framework, not a Raptor benchmark",
  "phases": ["ingest", "prefill", "state_handoff", "decode", "scheduler_feedback"],
  "decision_rule": "compare goodput under equal model quality, traffic mix and service objectives"
}

ما يجب قياسه قبل تصديق أن البنية تتفوق

ينبغي أن تفصل خطة القياس بين قدرة كل مرحلة وسلوك مستوى الخدمة. TTFT ليس زمن decode. وزمن decode ليس زمن الإكمال الكلي. عدد الرموز في الثانية من دون عتبة جودة ليس إنتاجية مفيدة.

ينبغي أن يستخدم قياس الأداء عائلة النموذج نفسها، وعتبة الجودة نفسها، وتوزيع الموجهات نفسه، وتوزيع المخرجات نفسه، وهدف الخدمة نفسه. يبدو ذلك صارما، لكنه الطريقة الوحيدة لإبقاء المقارنة صادقة. إذا غُيّر متغيران في الوقت نفسه، فتصبح النتيجة قصة عن إعداد الاختبار، لا عن الرف.

التكامل المعلن مقابل المواد التقنية المتاحة مقابل التجربة المطلوبة

لم تجر Optijara أي اختبارات أداء عتادية لـ Raptor. كل اختبار خاص بـ Raptor أعلاه هو خطوة تقييم مستقبلية مقترحة عندما تتوفر مواد تقنية عامة وأنظمة قابلة للنشر.

أخطاء شائعة عند قراءة إعلانات الاستدلال غير المتجانس

الخطأ 1: الخلط بين عرض النطاق الترددي وزمن التأخير

يمكن لرابط سريع أن يقلل عنق زجاجة واحدا بينما تظل الطوابير، وتهيئة بيانات الحالة للنقل، وتخطيط الحالة، وقرارات المجدول مهيمنة على تجربة المستخدم. زمن الخدمة هو نتيجة المسار الكامل.

الخطأ 2: افتراض أن الرف المشترك يعني ذاكرة مشتركة

تكامل الرف المشترك ونسيج التوسعة الرأسية عالي السرعة لا يعنيان تلقائيا ذاكرة مشتركة عشوائية، أو نقل KV بلا نسخ، أو توافق CUDA، أو مسارات خدمة نموذج قابلة للتبديل.

الخطأ 3: افتراض أن فصل المراحل أفضل دائما

يمكن أن يكون فصل prefill و decode أضعف أداء عندما تكون الموجهات قصيرة، أو المخرجات موجزة، أو حركة الحالة مكلفة، أو الطوابير غير متوازنة، أو دعم الدقة العددية مختلفا بين الأجهزة.

الخطأ 4: تجاهل شكل الطابور وطول المخرجات

تخلق أعباء العمل الثقيلة في decode ذات المخرجات الطويلة ضغطا مختلفا عن ردود المساعد القصيرة أو الموجهات المعززة بالاسترجاع. يمكن لمتوسط واحد للرموز في الثانية أن يخفي سلوك ذيل ضعيفا.

الخطأ 5: التعامل مع تواريخ خارطة الطريق كدليل إنتاج

توقع خروج التصميم إلى التصنيع قبل نهاية 2026 والتوفر الأولي المتوقع لـ Raptor XPUs في MGX في الربع الرابع من 2027 إشارتان مفيدتان للتخطيط. لكنهما ليستا دليلا على التوفر الحالي، أو السعر، أو زمن الإنتاج، أو التوافق.

قائمة تقييم عملية لرفوف مستقبلية من فئة Raptor

المسار العملي هو بناء منصة الاختبار قبل تصديق سردية المعمارية. ابدأ بتوصيف عبء العمل. أضف خط أساس على الجهاز نفسه. أضف مسار فصل مرشحا فقط عندما تتوفر المواد التقنية. قس TTFT، وزمن التأخير بين الرموز، وزمن ذيل التأخير، وعمق الطابور، وضغط الذاكرة، وتشبع مسار النقل، واستعادة الفشل، والإنتاجية المفيدة. أبق النموذج، وعتبة الجودة، وهدف الخدمة ثابتة.

التحفظات ليست لامعة: تكلفة التنفيذ، وتباين المزود والنموذج، وضوابط الخصوصية، وتقادم الذاكرة المخبأة، وقيود تنسيق الذاكرة، وتعقيد الجدولة، ونضج التكامل. بالنسبة للفرق التي تخطط لبنية تحتية مستقبلية، تستطيع Optijara المساعدة في تصميم طريقة التقييم واختبارات توزيع المراحل حتى تخضع قرارات البنية للضغط قبل أن تصبح التزامات خدمة نموذج.