محفورا سوهو وسباق الاستدلال ASIC: كيفية تقييم الرقائق المتخصصة ضد وحدات معالجة الرسومات

السؤال ليس ما إذا كانت الشريحة تبدو سريعة في العرض التوضيحي. بالنسبة لفريق الذكاء الاصطناعي الإنتاجي، فإن السؤال الأصعب هو ما إذا كانت أجهزة الاستدلال المتخصصة لا تزال تبدو جيدة بعد تسعير زمن الاستجابة، وتغييرات النموذج، وجودة القياس الكمي، وإمكانية الملاحظة، وتوقيت الشراء، والتوجيه الاحتياطي.

تعتبر Etched Sohu حالة اختبار مفيدة. ذكرت TechCrunch أن Etched وصلت إلى تقييم بقيمة 5 مليارات دولار وحصلت على أكثر من مليار دولار من مبيعات الرقائق، بينما تصف Etched أنظمتها بأنها مجموعات استدلال حدودية مصممة حول الرقائق والرفوف والبرامج وطرق التصنيع لاستدلال النماذج الحدودية. وهذا يجعل من الصعب على فرق البنية التحتية تجاهل الشركة. إنه لا يجيب في حد ذاته على سؤال المشغل: هل يجب أن ينتقل عبء العمل الحقيقي من سعة وحدة معالجة الرسومات المرنة إلى مسار استدلال ASIC؟

هذا ليس تصنيفًا للموردين، أو خلاصة تمويل، أو نصيحة استثمارية. إنها طريقة عملية لمقارنة رفوف ASIC المشابهة لـ Sohu مع أنظمة الاستدلال المستندة إلى وحدة معالجة الرسومات من خلال ملاءمة عبء العمل وجودة القياس ونضج وقت التشغيل وتخطيط الخروج.

لا ينبغي لمعظم الفرق شراء أجهزة استدلال متخصصة حتى يتم ضبط خط الأساس لوحدة معالجة الرسومات جيدًا بالفعل. التجميع الضعيف، فقدان p99s، عدم وجود اختبارات انحدار الجودة، وعدم وجود تدريبات التراجع ستتبع الفريق على الشريحة الجديدة.

لماذا عاد السيليكون الاستدلالي المتخصص إلى الطاولة؟

التحول من ندرة التدريب إلى اقتصاديات الاستدلال

تنتقل العديد من فرق الذكاء الاصطناعي من تجارب النماذج العرضية إلى أعباء عمل الاستدلال المتكرر. العبء لا يقتصر فقط على الوصول إلى النموذج. إنه يخدم زمن الوصول ووقت الانتظار والموثوقية وتخطيط السعة ورؤية التكلفة والعمل الهندسي اللازم للحفاظ على استجابة ميزات الذكاء الاصطناعي التي تواجه المستخدم.

هذا يغير مناقشة الأجهزة. غالبًا ما يتم الحكم على أجهزة التدريب من خلال أداء الدفعة ومقياس الذاكرة وسلوك التدريب الموزع. يستفسر استدلال الإنتاج عن وقت ظهور الرمز المميز الأول، وp95، وp99، ووقت الانتظار، واستقرار البث، والتراجع.

يصبح سيليكون الاستدلال المتخصص مثيرًا للاهتمام عندما يتكرر عبء العمل: نفس عائلة النماذج، وأشكال موجهة متشابهة، ونوافذ سياق معروفة، وأطوال مخرجات معروفة، وحركة المرور التي يمكن التنبؤ بها ببعض الثقة. إذا تغيرت خارطة الطريق النموذجية كل بضعة أسابيع، فقد تكون مرونة الأجهزة أكثر قيمة من أي زيادة في الكفاءة مُطالب بها.

ما تمثله Etched Sohu بدون ضجيج التمويل

تصف Etched منتجها الأول بأنه مجموعات استدلالية حدودية، وتقول إن نهجها يشارك في تصميم الرقائق والأرفف والبرمجيات وطرق التصنيع. وهذا مهم لأن أعباء العمل القائمة على المحولات وخليط الخبراء تقع في مركز العديد من أنظمة اللغات، والاستدلال هو المكان الذي يمكن أن تتحمل فيه منتجات الذكاء الاصطناعي الإنتاجية ضغطًا حسابيًا مستمرًا.

نفس التركيز يضيق الرهان. يجب على المشترين أن يعتقدوا أن أعباء العمل المستقبلية ستستمر في مطابقة افتراضات الأجهزة. يمكن أن يكون ذلك منطقيًا بالنسبة للمنتجات المستقرة ذات الحجم الكبير، كما أنه محفوف بالمخاطر بالنسبة للفرق التي لا تزال تختبر عائلات النماذج، أو أطوال السياق، أو المدخلات متعددة الوسائط، أو أطر الخدمة.

لماذا تظل وحدات معالجة الرسومات هي نقطة المقارنة

تظل وحدات معالجة الرسومات هي خط الأساس الافتراضي لأنها تحمي الاختيار المستقبلي. تؤكد مادة بنية Blackwell من NVIDIA على تسريع الذكاء الاصطناعي الواسع والذاكرة والشبكات وميزات Transformer Engine وتكامل حزمة البرامج. يُظهر TensorRT-LLM وvLLM أيضًا مقدار التحسين الذي لا يزال موجودًا في مكدس العرض.

لذا فإن القرار الحقيقي ليس ASIC أو GPU بشكل مجرد. فهي تحدد أعباء العمل التي تستحق التخصص، وأعباء العمل التي لا تزال بحاجة إلى مساحة للتحرك.## المفاضلة: كفاءة ASIC مقابل مرونة وحدة معالجة الرسومات

تم تصميم ASIC لاستدلال الذكاء الاصطناعي حول مجموعة أضيق من أنماط الحساب من وحدة معالجة الرسومات ذات الأغراض العامة. وفي أفضل الأحوال، قد يؤدي هذا التركيز إلى تحسين الأداء أو الكثافة أو كفاءة الطاقة لأحمال العمل المدعومة. للاستدلال، قد يتضمن الهدف بنية النموذج، وأنماط النواة، وتخطيط الذاكرة، والتنسيق الدقيق، وافتراضات الخدمة.

هذا هو النداء. إن النظام المصمم لمهمة أضيق قد يقوم بهذه المهمة بشكل جيد للغاية.

تعمل وحدات معالجة الرسومات على حماية الفرق من عدم اليقين. يمكنهم تشغيل العديد من أنواع النماذج، ودعم أطر عمل متعددة، واستيعاب تغييرات البنية بسهولة أكبر، والاستفادة من الأدوات الناضجة عندما لا يزال حجم النموذج، أو استراتيجية التكميم، أو أنماط الاسترجاع، أو ميزات الوسائط المتعددة في حالة تحرك.

التكلفة الخفية لاعتماد ASIC هي قيمة الخيار. إذا التزم الفريق بمسار متخصص، فيجب عليه معرفة ما يحدث عندما يتغير النموذج، أو ترتفع حركة المرور، أو تتوسع نوافذ السياق، أو يفتقر وقت التشغيل إلى ميزة المنتج.

خريطة الاستعداد للاستدلال في Optijara ASIC

خريطة جاهزية الاستدلال Optijara ASIC عبارة عن إطار عمل من خمسة محاور لتحديد ما إذا كان النظام المشابه لسوهو يستحق إثباتًا للمفهوم.

حورية البحر مخطط انسيابي TD أ[عبء عمل استدلال الإنتاج] --> ب[استقرار عبء العمل] A --> C [شكل الكمون والإنتاجية] أ --> د[عرض نموذج خارطة الطريق] A --> E[نضج الخدمة وقابلية الملاحظة] أ --> F [الهندسة الاحتياطية] B --> G{ASIC POC جاهز؟} ج --> ج د --> ج ه --> ز ف --> ج

المحور الأول: استقرار عبء العمل

يبدأ جاهزية ASIC بالتكرار. تتضمن الإشارات الجيدة عائلات النماذج المتكررة، والأشكال السريعة التي يمكن التنبؤ بها، وأطوال السياق الثابتة، وأطوال المخرجات المعروفة، وحركة المرور التي يمكن التنبؤ بها ببعض الثقة.

تتضمن الإشارات الضعيفة عمليات تبديل متكررة للنماذج، أو ميزات تجريبية، أو سلوك مستخدم غير واضح، أو الاعتماد الشديد على إمكانات النماذج الجديدة التي قد لا تتوافق بشكل واضح مع أجهزة اليوم.

المحور الثاني: شكل الكمون والإنتاجية

لا تقم بتقييم أجهزة الاستدلال بمتوسط وقت استجابة واحد. قم بقياس الوقت حتى الرمز المميز الأول، p50، p95، p99، الرموز المميزة في الثانية، وقت الانتظار، زمن الاستجابة للملء المسبق، زمن الاستجابة لفك التشفير، معدل الخطأ، سلوك إعادة المحاولة، والإنتاجية بتزامن واقعي.

قد يكون أداء ASICs جيدًا في شكل دفعة واحدة وأقل جودة في شكل آخر. قد تبدو وحدات معالجة الرسومات باهظة الثمن حتى يتم ضبط التجميع والتخزين المؤقت و TensorRT-LLM و vLLM والجدولة. المقارنة لا تعني شيئًا إلا عندما يتم اختبار كلا الجانبين بجدية.

المحور الثالث: عرض نموذج خارطة الطريقيمكن أن يكون النظام المتخصص مناسبًا بشكل قوي لأعباء عمل المحولات المستقرة وغير مناسب لخارطة الطريق المتغيرة. يجب على الفرق أن تسأل عما إذا كانوا يتوقعون أنماط اهتمام جديدة، أو نوافذ سياقية أطول، أو مدخلات متعددة الوسائط، أو تنسيقات دقيقة مختلفة، أو تغييرات في النموذج يحركها مقدم الخدمة.

إذا كانت خريطة الطريق غير واضحة، فقد تحتفظ وحدات معالجة الرسومات بمزيد من قيمة الخيار. إذا كانت خريطة الطريق مستقرة وعبء العمل كبير بما فيه الكفاية، يصبح اختبار ASIC أكثر مصداقية.

المحور الرابع: نضج الخدمة والملاحظة

لا تقوم الأجهزة بتشغيل المنتج بمفردها. تحتاج طبقة التقديم إلى التوجيه، والقياس التلقائي، والتتبع، والتسجيل، والتنبيه، والتراجع، وضوابط النشر، والاستجابة للحوادث. يمكن لشريحة سريعة متصلة بمسار تقديم غير ناضج أن تنتج نظامًا أضعف من مكدس GPU الأبطأ والأفضل تشغيلًا.

وهذا يرتبط بعمل المراقبة على نطاق أوسع. إذا لم يحدد فريقك بعد مقاييس وقت تشغيل الذكاء الاصطناعي، فابدأ بالأساسيات التشغيلية في إمكانية ملاحظة استدلال الذكاء الاصطناعي قبل الالتزام بالأجهزة.

المحور الخامس: العمارة الاحتياطية

تفترض عمليات نشر ASIC الأكثر أمانًا إجراء احتياطي من البداية. يجب أن يكون للنماذج غير المدعومة، أو ارتفاع حركة المرور، أو فشل وقت التشغيل، أو الشبكات المتدهورة، أو التراجع عن النموذج العاجل طريقًا للعودة إلى وحدة معالجة الرسومات أو سعة السحابة. إذا كان الإجراء الاحتياطي يتطلب إعادة كتابة المنتج، فإن البنية ليست جاهزة.

مصفوفة القرار: عندما تستحق رفوف ASIC المشابهة لـ Sohu إثباتًا للمفهوم

تستحق رفوف ASIC المشابهة لـ Sohu الاهتمام عندما يكون حجم العمل كبيرًا، ودرجة الإنتاج، وحساسة لزمن الوصول، ومستقرة بدرجة كافية للقياس. يجب أن يعرف الفريق بالفعل إصدارات النماذج، وأطوال التسلسل، وتوزيعات حركة المرور، وأطوال الإخراج، وSLOs المستهدفة.

لا يزال بإمكان المنتجات الحدودية ذات الاستخدام الحقيقي ولكن استراتيجية النموذج غير المستقرة تشغيل ASIC POC، ولكن فقط كجمع للأدلة، وليس كاختصار للشراء.

تجنب استخدام السيليكون الاستدلالي المتخصص عندما يكون عبء العمل ثقيلًا على الأبحاث، أو منخفض الحجم، أو شديد الشائك، أو يعتمد على توافق إطار العمل الواسع. كن حذرًا عندما يكون التوسع متعدد الوسائط قريبًا، فقد يتغير موفر النموذج، أو يكون قياس الإنتاج عن بعد ضعيفًا.

كيفية اختبار أنظمة الاستدلال ASIC مقابل وحدات معالجة الرسومات دون خداع نفسك

يبدأ المعيار الصالح بمدخلات شبيهة بالإنتاج: فئات المطالبة الحقيقية، وأطوال السياق الواقعية، وأطوال المخرجات المتوقعة، وسلوك البث، وأنماط التزامن، وحمولات الاسترجاع، وحالات الخطأ. يمكن أن تساعد المطالبات الاصطناعية في التكرار، لكن لا ينبغي أن تحل محل تتبعات عبء العمل.يعد MLCommons Inference بمثابة تذكير مفيد بأن قياس الاستدلال يحتاج إلى سيناريوهات محددة وطرق قابلة للمقارنة. لا يزال اختبار عبء العمل الداخلي أكثر أهمية لأن شكل حركة المرور ومكدس الخدمة وشريط الجودة محددان.

تقسيم الكمون إلى مراحل. قم بقياس وقت التوجيه، ووقت الانتظار، والملء المسبق، ووقت الرمز المميز الأول، وفك التشفير، وإيقاع البث، وإجمالي وقت الإكمال. متوسط ​​الكمون يخفي سلوك الذيل.

قم بإجراء اختبارات منفصلة للمطالبات القصيرة، والمطالبات الطويلة، والمخرجات القصيرة، والمخرجات الطويلة، والتزامن المنخفض، والتزامن العالي، وحركة المرور المتقطعة. لا تنهارهم في درجة واحدة. يمكن أن تستجيب أنظمة ASIC وGPU بشكل مختلف حسب حجم الدفعة وطول السياق وإزاحة التزامن.

قم أيضًا باختبار الخطوط الأساسية لوحدة معالجة الرسومات المحسنة. قبل إثبات المفهوم (POC)، قم بضبط التجميع والتخزين المؤقت وإعدادات وقت التشغيل وموضع النموذج وتكوين العرض.

يمكن أن يؤدي التكميم إلى تغيير الأداء وجودة المهمة. لا تقم بتقييم الرموز المميزة في الثانية دون التحقق من موثوقية المخرجات والواقعية وسلوك الرفض ودقة استدعاء الأداة وجودة الاسترجاع ونجاح المهمة. إن النظام الأسرع الذي يؤدي بهدوء إلى تدهور المخرجات الحيوية للأعمال ليس أرخص في الممارسة العملية.

يتضمن إثبات المفهوم (POC) الخطير أيضًا تدريبات الفشل.

خارطة الطريق النموذجية تخاطر بتخفيض سعر معظم الفرق

يمكن أن يعتمد أداء ASIC على افتراضات حول متغيرات المحولات وآليات الانتباه وتخطيط الذاكرة وطول التسلسل والدقة ودعم النواة. إذا ابتعدت النماذج المستقبلية عن تلك الافتراضات، فقد يصبح مسار الأجهزة أقل فائدة.

هذا لا يجعل القفل سيئًا تلقائيًا. وهذا يعني أنه يجب تسعير القفل. إذا كان عبء العمل مستقرًا وقيمًا، فقد يكون التخصص عقلانيًا. إذا كان المنتج يعتمد على التبديل السريع للنموذج، فقد يصبح التثبيت مكلفًا.

يجب على الفرق رسم خريطة لكيفية تناسب وقت تشغيل ASIC مع vLLM وTensorRT-LLM وKubernetes وتغليف النماذج والمراقبة والأسرار وCI/CD والتراجع. حتى لو كانت بعض الأدوات موجهة نحو وحدة معالجة الرسومات، تظل توقعات التشغيل كما هي: النشر بأمان، ومراقبة السلوك، والتعافي بسرعة.

تحمل قرارات الأجهزة أيضًا مخاطر التوقيت. يمكن للمهل الزمنية وحجز السعة وعقود الدعم وجاهزية مركز البيانات والطاقة والشبكات وأعمال التكامل أن تدوم أكثر من خطة النموذج الحالية. يعتمد المشترون أيضًا على دعم وقت تشغيل البائع، ونضج المترجم، وتوافق النموذج، وخريطة طريق الشريحة المستقبلية. إذا كان النموذج الجديد يتطلب انتظار دعم المورد، فقم بتضمين هذا التأخير في القرار.

قائمة مراجعة التنفيذ لإثبات مفهوم الاستدلال ASIC

خلال إثبات المفهوم

قم بتشغيل حركة المرور التمثيلية، والمقارنة مع الخطوط الأساسية لوحدة معالجة الرسومات المحسنة، وتسجيل مقاييس العرض الكاملة، وتقييم تراجع الجودة، والتحقق من إمكانية الملاحظة، واختبار افتراضات القياس التلقائي، وتشغيل تدريبات تجاوز الفشل. يجب أن يقدم إثبات المفهوم أدلة قابلة للمقارنة، وليس مجلدًا يحتوي على لقطات شاشة.

بعد قرار POC

اكتب مذكرة الذهاب/عدم الذهاب التي تغطي تناسب عبء العمل، والافتراضات الاقتصادية، والفجوات التشغيلية، وتكلفة الترحيل، ومخاطر خريطة الطريق النموذجية، ومخاطر المشتريات، والبنية الاحتياطية. إذا لم تتمكن المذكرة من شرح كيفية فشل مسار ASIC بشكل آمن، فهذا يعني أن القرار ليس جاهزًا.

json { "ملف أسيك ريدينيس": {

"latencyTargets": ["timeToFirstToken"، "p95"، "p99"، "tokensPerSecond"]،

"تغطية إمكانية الملاحظة": ["السجلات"، "التتبعات"، "المقاييس"، "التنبيهات"]،

} }

الأخطاء الشائعة عند مقارنة شرائح الاستدلال ASIC مع وحدات معالجة الرسومات

الخطأ الأول هو المقارنة مع خط الأساس غير المحسن لوحدة معالجة الرسومات. قم بضبط مسار وحدة معالجة الرسومات أولاً، بما في ذلك إعداد البرامج والتجميع والتخزين المؤقت ووقت التشغيل.

والثاني هو الثقة في إنتاجية العنوان دون توزيع زمن الوصول. قم بقياس p95 وp99 وسلوك الاندفاع ووقت الانتظار، وليس فقط وقت تنفيذ النموذج.

والثالث هو تجاهل تراجعات الجودة الناجمة عن التكميم. يمكن أن تؤدي الدقة المنخفضة إلى تحسين الأداء، ولكنها قد تضر بموثوقية الإخراج. قم بإقران اختبارات الأداء مع فحوصات الجودة على مستوى المهمة.

هناك فشل شائع آخر وهو نسيان طبقة التقديم. لا يمكن للأجهزة التعويض عن سوء التوجيه، أو الآثار المفقودة، أو التراجع الضعيف، أو ملكية الحادث غير الواضحة.

وأخيرا، لا تتعامل مع المشتريات على أنها قرار مالي بحت. يشكل شراء الأجهزة اختيار النموذج وسير عمل النشر وتخطيط الموثوقية والمرونة المستقبلية.

##محاذير وقيود وخطة قياس عملية

قد لا تتطابق مطالبات البائعين العامة مع عبء العمل الخاص بك. يختلف التوفر والسعر. تغييرات سلوك النموذج. دعم البرمجيات مهم. يمكن أن يؤدي فساد ذاكرة التخزين المؤقت إلى تشويه النتائج المعيارية. تكلفة التنفيذ يمكن أن تمحو المدخرات النظرية. إن النظام الذي يبدو فعالاً في عزلة قد يبدو أقل جاذبية بعد تضمين الترحيل والدعم والاحتياط والمخاطر التشغيلية.

يستحق السيليكون الاستدلالي المتخصص التقييم عندما يكون عبء العمل واضحًا والأدلة التشغيلية قوية. تظل وحدات معالجة الرسومات ذات قيمة عندما تكون قابلية النقل وتنوع النماذج ومرونة خريطة الطريق هي الأكثر أهمية.