ShadowPEFT في PEFT: خريطة قرار تصدير المهايئ

واجهة get_peft_model نفسها، لكن عقد نشر مختلف

لا يزال التدريب يبدأ باستخدام get_peft_model. هذا الألفة مفيدة، لكنها قد تخفي أيضا سؤال النشر الأهم: ما الشيء الذي ستشحنه بالضبط؟

مع ShadowPEFT، لا تكون الإجابة نموذجا أساسيا مدمجا. يبقي الاستدلال المتصل النموذج الأساسي ضمن الحلقة. يستخدم استدلال نموذج اللغة المنفصل حسابا مختلفا. يمكن أن يكون كلا الخيارين مشروعا، لكنهما يحتاجان إلى تغليف مختلف، واختبارات مختلفة، وأدلة قبول مختلفة.

ما الذي يغيره تكامل 15 سبتمبر

يفيد إعلان التكامل في 15 سبتمبر 2026 الصادر عن المؤلفين بأن ShadowPEFT دُمج في الفرع الرئيسي من PEFT. تقدم ورقة أبريل خلفية مفيدة، لكنها ليست ورقة جديدة في سبتمبر. وقت الإعلان، كانت تجربة التكامل تعني تثبيت PEFT من المصدر؛ وتفصل الوثائق الرئيسية هذا المسار عن الحزمة المستقرة. تاريخ الإعلان ليس دليلا مستقلا على تاريخ الدمج الدقيق.

ثبّت مراجعات PEFT و Transformers التي اختبرتها. وثبّت أيضا مراجعات النموذج الأساسي ونموذج الظل. تثبيت غير مثبت من الفرع الرئيسي ليس خطة إصدار قابلة لإعادة الإنتاج.

يشرح الإعلان الطريقة ويعرض تجارب. وتوثق مرجعية API العمليات. يربط هذا المقال تلك الأجزاء بقرار نشر: أي أثر موجود، وأي تبعيات يجب أن تكون حاضرة، وما الدليل الذي يثبت أن الأثر صالح للشحن. إنه دليل تخطيط، وليس إعادة إنتاج من Optijara لنتائج المؤلفين.

لماذا لا يمكن دمج مسار الظل داخل أوزان الأساس

تصف وثائق ShadowPEFT عمودا فقريا صغيرا ينتج حالة ظل أولية. عبر كتل فك ترميز متجاورة، يمر الفرق h-s عبر تصحيح منخفض الرتبة إلى دخل الأساس. ثم تدفع التحديثات المبوّبة حالة الظل باستخدام مخارج الكتل. يمكن أن يكون مسار مهايئ واحد فقط نشطا في كل مرة.

هذا سلوك يعتمد على الدخل. وليس فرقا ثابتا يمكن طيه داخل أوزان الأساس. ونتيجة لذلك، ترفع merge و merge_adapter و merge_and_unload أخطاء. لا تزيل طرق الحفظ والتحميل المألوفة في PEFT هذا القيد.

أبق ثلاث قوائم جرد منفصلة: المهايئ المحفوظ، وإعداد الاستدلال المتصل بالأساس مع الظل، ونقطة تفتيش نموذج اللغة المنفصل الكاملة. هذه ليست ثلاثة أسماء ملفات للشيء نفسه. إنها منتجات مختلفة.

خريطة قرار تصدير المهايئ: اختر الأثر قبل التدريب

أربعة مسارات نشر وأدلة قبولها

خريطة قرار تصدير المهايئ من Optijara أداة تخطيط أصلية لهذا المقال، وليست معيارا من مورّد. ابدأ بالمسار الذي تحتاجه في الإنتاج، ثم اختر خطوات التدريب والتصدير والتحقق التي يمكنها إنتاجه فعلا.

يستحق المسار المنفصل فحصا دقيقا. ملف مهايئ صغير ليس مثل نقطة تفتيش تحتوي على جدول تضمين، وإسقاط، وعمود فقري، ورأس إخراج، ومجزئ رموز، وتكوين. سجّل المكونات التي يشاركها الإعداد المختار، ويدربها، ويحفظها. هذا الجرد مفيد أيضا عند مراجعة تفاصيل الأثر بدلا من أسماء الملفات، مع أن هذا المقال لا يدّعي دعم تحويل GGUF ل ShadowPEFT.

بالنسبة إلى Diffusers، تفصل الوثائق بين خلفية بنية Flux2 المسجلة وبين بديل MLP باقٍ على مستوى الرموز للبنى المتوافقة. لا يدعم أي من المسارين التفريغ المستقل. ينطبق هذا القيد على نماذج Diffusers عموما، وليس فقط على البنى التي لا تملك خلفية مسجلة.

التدريب والاستدلال المتصل والتصدير المنفصل فروع مختلفة

تعرض الفروع أدناه قرارات ShadowPEFT والفحوص المرتبطة بها. فرع Diffusers غير مدعوم صراحة. وهي لا تصف موجها منفذا بين الحافة والسحابة.

هذا الملخص الموجز JSON وصفي. إنه ليس تكوين PEFT ولا ينفذ فحوص توافق.

{
  "framework": "Adapter Export Decision Map",
  "shadow_merge_supported": false,
  "attached_requires_base": true,
  "detached_lm_requires_separate_evaluation": true,
  "independent_export_copy": true,
  "diffusers_standalone_supported": false
}

صدّر نموذج لغة منفصلا دون فقدان عقد الأثر

درّب المسار المستقل عمدا

الحساب المنفصل الموثق في Transformers هو head(projection(backbone(x))). إنه ليس حالة الظل النهائية عبر الطبقات sL، لأن sL تعتمد على التفاعلات مع مفكك ترميز الأساس. لذلك لا تثبت النتائج المتصلة القوية جودة المهمة في المسار المنفصل.

تعامل مع جودة المتنبئ كسؤال قبول منفصل. يمكن أن يكون التصدير صالحا تقنيا ومع ذلك يكون المتنبئ الخطأ للمهمة. لا يحسم الحفظ الناجح هذا السؤال.

تشرف خسارة المهمة المساعدة على حالة الظل الأولية s0، وهي المسار المتاح من دون تلك التفاعلات مع الأساس. توثق التكوين أن auxiliary_loss_weight=0.05 هي القيمة الافتراضية، مع إضافة الخسارة عند توفير التسميات. تحقق من أن مهمة التدريب توفر التسميات وتتعامل مع رأس المهمة كما هو مقصود. ضبط قيمة في التكوين ليس مثل التحقق من مسار الخسارة.

بالنسبة إلى نمذجة اللغة السببية، يعاد استخدام رأس إخراج الأساس. أدرج modules_to_save=['lm_head'] عندما يجب تدريب ذلك الرأس وحفظه عبر PEFT. لا تجعل تدريب الرأس رد فعل تلقائيا. سجّل حجم مفردات الرأس وعلاقته بمجزئ الرموز وجدول التضمين.

استخدم unload_shadow(copy=True) للتصدير المستقل

يتبع المقتطف التالي واجهة التصدير الموثقة. إنه توضيحي ولم ينفذ هنا. يعني peft_model نموذج PEFT متوافقا ومدربا مسبقا في Transformers، وليس خط أنابيب Diffusers عشوائيا.

# توضيحي فقط: لم ينفذ لهذا المقال.
detached_model = peft_model.base_model.unload_shadow(copy=True)
detached_model.save_pretrained("standalone-shadow")

بشكل افتراضي، تشارك copy=False الوحدات مع نموذج PEFT. إذا كان الظل يستخدم تضمينات دخل أساس مجمدة عبر مرجع خارج شجرة وحداته الفرعية المسجلة، فقد يحذف حفظ ذلك الكائن المنفصل جدول التضمين. توصي الوثائق باستخدام copy=True عند حفظ نموذج مستقل أو دفعه لأنها تلحق نسخة تضمين خاصة. المفاضلة هي ذاكرة إضافية أثناء التصدير.

تحل تلك الراية تبعية تسلسل واحدة. لكنها لا تثبت أن مجزئ الرموز حُفظ، أو أن المحمّل متوافق، أو أن الجودة المنفصلة تفي بمتطلبات المهمة. استخدم واجهة التحميل للتنفيذ المثبت. لا تستنتج صنف إعادة التحميل من اسم ملائم.

قائمة فحص إعادة التحميل الباردة، ولم تنفذ هنا صراحة

استخدم قائمة الفحص المستقبلية هذه قبل اعتبار التصدير قابلا للنشر. لم تدرب Optijara النموذج أو تصدره أو تعيد تحميله أو تقيمه لهذا المقال. الوثائق وفحص المصدر ليسا بديلا عن دليل اختبار تسلسل محلي.

احتفظ بالأثر المتصل أثناء اختبار التصدير. لا ينبغي أن يحل التحميل النظيف تلقائيا محل مرشح النشر المتصل. إنه يزيل فحص التسلسل فقط. ارفض الآثار غير المكتملة قبل تفسير فروق الجودة، خاصة عندما قد تفسر إعدادات مجزئ الرموز أو الأوزان المفقودة السلوك.

قِس الاستدلال المتصل والمنفصل كمنتجين منفصلين

أربع خطوط أساس على عبء عمل محجوب واحد

خطط لمقارنة الأساس فقط، و LoRA، و Shadow المتصل، و Shadow المنفصل. استخدم المهام المحجوبة نفسها، والمطالبات، وقواعد التسجيل، وإعدادات التوليد حيث يكون ذلك منطقيا. سجّل اختلافات مجزئ الرموز، وأحجام النماذج، وميزانيات التدريب. البنية المنفصلة الأصغر ليست مطابقة للأساس، ولا ينبغي أن يتظاهر التقييم بعكس ذلك.

حدد عتبات القبول قبل النظر إلى النتائج. قد تهتم مهمة افتراضية لتصنيف المستندات أكثر بصحة التسميات واستقرار المخرجات المنظمة. ويحتاج المساعد التفاعلي أيضا إلى فحوص زمن الاستجابة. هذه خيارات تقييم مقترحة، وليست نتائج ShadowPEFT مبلغ عنها.

حجم المهايئ ليس ذاكرة الخدمة

يستخدم التوليد المتصل تخزينين مؤقتين KV للأساس والظل. تصف مرجعية API ShadowCache بأنها غير قابلة للتجميع عمدا؛ ولا يدعم التحويل إلى الصفوف القديمة. لا تعد بدعم torch.compile أو توافق محرك الاستدلال لمجرد أن generate() يبدو مألوفا. يحدد تنفيذ النموذج بشكل منفصل مسار التصدير المستقل وقيد Diffusers الخاص به.

قِس نمو التخزين المؤقت ضمن عبء العمل الذي تنوي تقديمه. افصل بين بايتات المهايئ، وبايتات التصدير، وذروات التحميل، وذاكرة الخدمة في الحالة المستقرة. اتبع الانضباط نفسه المستخدم في اختبار الأثر الدقيق على وقت التشغيل والجهاز المستهدفين. التنزيل الأصغر لا يثبت زمنا متصلا أصغر.

اقرأ معيار المؤلفين من دون اختصار تكلفة

يعرض معيار التكامل لدى المؤلفين نتائج تدريب MetaMathQA وتقييم GSM8K التالية ل Llama 3.2 3B على NVIDIA A100 80GB. تسمي جداولهم عمود التخزين "Checkpoint"؛ وهذه آثار تجارب مبلغ عنها، وليست صادرات مستقلة موثقة.

في تلك التجربة، لدى ShadowPEFT درجة أعلى ونقطة تفتيش أصغر، مع ذروة ذاكرة أعلى وتدريب أطول. افحص تكوين Shadow و تكوين LoRA المرتبطين. يسمي الإعلان الإعدادات افتراضية، لكن ملف Shadow يحدد auxiliary_loss_weight=0.01 و shadow_alpha=0.5، بدلا من قيم API الافتراضية 0.05 و 0.1. استخدم الملفات المرتبطة لفهم التجربة؛ ولا تفترض بحثا متساويا في المعلمات الفائقة. نتيجة واحدة مبلغ عنها من دون عدم يقين لا تثبت تفوقا واسعا. كما أنها لا تقول شيئا بحد ذاتها عن ذاكرة الخدمة المنفصلة، أو زمن الاستجابة، أو دقة الاستدلال المنفصل.

ما يجب تجنبه في نشر ShadowPEFT

معاملة كل مهايئ PEFT كأنه قابل للدمج

ما يلي أخطاء تنفيذ متوقعة، وليست حوادث من عملاء Optijara. يحتاج سكربت نشر يستدعي merge_and_unload لكل نوع مهايئ إلى فرع خاص بالطريقة. كما أن استبدال ذلك الاستدعاء بتفريغ الظل يغير المتنبئ الذي سيُشحن، لذلك لا يمكن نقل تقرير القبول القديم ببساطة.

تشمل أوضاع الفشل المحتملة معاملة حجم نقطة التفتيش كأنه ذروة الذاكرة، ونسب درجات المعيار المتصل إلى نموذج منفصل، والتحقق من التسلسل في عملية يبقى فيها الأساس الأصلي متاحا. يمكن للوحدات المشتركة أن تجعل تجربة داخل الذاكرة تبدو كاملة مع ترك التصدير المستقل غير مختبر.

الخلط بين تدريب الصور المساعد ومزيل ضوضاء قابل للفصل

لا ينشئ مسار تدريب إزالة الضوضاء المساعد منتجا مستقلا مدعوما في Diffusers. يتعلق دعم خلفية Flux2 بكيفية بناء حساب الظل. ولا يزيل NotImplementedError عند التفريغ المستقل.

يفيد المؤلفون أيضا بمقارنة لتوليد الصور باستخدام مجموعة DreamBooth صغيرة لقطة واحدة. لا تثبت تلك التجربة الخاصة بالنموذج تعميما لكل الموضوعات، أو جودة صور عامة، أو جودة مزيل ضوضاء مستقل. أبق هذه الادعاءات خارج مقترح النشر.

للفرق التي تنتقل بين أدوات الصور، لا تثبت عناصر التحكم المألوفة تكافؤ التنفيذ. ينطبق المنطق نفسه هنا. أسماء API المشتركة مفيدة من حيث سهولة الاستخدام، وليست دليلا على أن طريقتين تصدران نماذج مكافئة.

محاذير قبل اعتماد تكامل الفرع الرئيسي

التوافق، وتكلفة التنفيذ، وحدود التقييم

يعتمد سلوك الفرع الرئيسي على المراجعة. سجّل البنية، والمحمّل، وإصدارات التبعيات، وقيود وقت التشغيل التي تغطيها اختباراتك. وصف الدعم في الوثائق هو حيث يبدأ العمل. وليس شهادة لكل محرك خدمة.

ضع ميزانية للتحقق من التصدير، والتقييم، والتخزين، والصيانة إضافة إلى التدريب. تؤثر الأجهزة، وأسعار المزودين، وطول السياق، والتزامن، واختيار النموذج كلها في النتيجة المقاسة. لا يستطيع مهايئ أصغر أن يحمل ادعاء توفير بمفرده. أبق عدم اليقين ظاهرا في المقارنات، وأعد تشغيل الفحوص ذات الصلة بعد تغييرات التبعيات.

تبقى فحوص الخصوصية والترخيص خاصة بكل أثر

راجع شروط النموذج الأساسي، ونقطة تفتيش الظل، ومجموعة البيانات، ومجزئ الرموز، ورأس المهمة قبل التوزيع. نقطة تفتيش ظل Qwen المسقطة تكوين محدد يجب فحصه، وليست إذنا عاما لكل نشر مشتق. لا يمنح الفصل حقوق إعادة التوزيع ولا يزيل مخاوف خصوصية بيانات التدريب.

اختر مسارا مدعوما، واحتفظ بجرد تبعياته، وقيّم الأثر الذي سيصل فعلا إلى البيئة المستهدفة. اترك تصدير Diffusers المستقل غير المدعوم خارج خطة الإصدار إلى أن يدعمه التنفيذ صراحة.