خرائط تخطيط GGUF لكل موتر: قارن الوصفات لا أسماء الملفات

ما الذي تغيره خرائط تخطيط GGUF لكل موتر فعليا

تحدد خرائط تخطيط GGUF لكل موتر أي الموترات تحصل على أي أنواع تكميم. قد يجعل اسم ملف مألوف أثرين يبدوان متكافئين بينما توزيعات الموترات فيهما ليست كذلك.

تشرح مذكرة إصدار بارتوفسكي في 10 سبتمبر 2026 وصفات التوزيع في المولد الخاص به. وهي لا تعيد تعريف GGUF ولا تنشئ معيار تسمية لناشرين آخرين. يستخدم المولد شكل النموذج وسابقة حساسية لتعيين الدقة، مع نشر الخرائط إلى جانب الآثار المدعومة.

تأمل انتقالا افتراضيا، وليس نشرا من Optijara: يستبدل مشغل ملف GGUF أقدم بتنزيل Q4_K_M أحدث. ينجح اختبار دخان، لكن اللاحقة المطابقة لا تثبت تطابق تعيينات الموترات أو تكلفة التخزين أو سلوك عبء العمل.

أبق عائلة التكميم، ووصفة الموتر، والأثر الذي تم تنزيله منفصلة. تكشف المقارنة بين اسمين متطابقين فروق الانتقال. لمقارنة الوصفات عند تكلفة تخزين متقاربة، اختر المرشحين تحت غلاف بايتات معلن، حتى عندما تختلف لواحقهم. تستخدم هذه المقالة وصفة MiniCPM5 مثبتة كمثال، لا كملخص لإطلاق نموذج. لم تجر Optijara أي تكميم أو اختبارات معيارية.

الأسماء القديمة وميزانيات التوزيع الجديدة

اقرأ _S و _M و _L وفق مصطلحات هذا المولد

يصف الإصدار S و M و L بقواعد نوع أساسي 90% و 70% و 50%. يجعل المولد المثبت المقام دقيقا: TIER_SHARE هو حد أدنى لحصة بايتات الجسم المحلولة المحتفظ بها عند النوع الأساسي.

هذه ليست أعداد موترات ولا نسبا مئوية من ملف GGUF الكامل. تتطلب موترات فئة التضمين، والموترات المثبتة، والبيانات المحتفظ بها محاسبة منفصلة. لا يملك المحلِل هدف بايتات مطلقا؛ يتم الإبلاغ عن معدل البت بعد الحل. هنا تعني ميزانية التوزيع قيدا على حصة الجسم، لا حجما موعودا للتنزيل.

تصف ما الذي يتم شحنه المتغيرات التاريخية وحالات الإيقاف. وهي ليست ادعاءات عن كل ناشر GGUF. إبقاء أنواع موترات IQ خارج وصفات K-quant هو أيضا اختيار توافق من بارتوفسكي، وليس قيدا عاما في الصيغة.

اقرأ وصفة Q4_K_M فعلية

يسجل ملف JSON لتخطيط MiniCPM5 المثبت القيم base_type q4_k و variant shr0.70 و rung_share 0.7 و auto_crush false. يعيّن ملف أنواع الموترات الخاص به output.weight إلى q6_k و token_embd.weight إلى q4_k. في الكتلة صفر، يستخدم attn_k و attn_v النوع q8_0 بينما يستخدم attn_q النوع q4_k.

لذلك لا يعني Q4_K_M أن كل موتر هو Q4_K. يسجل البيان بشكل منفصل بايتات الملف المتوقعة ومقارنة الجسم مع التضمين القابلين للتكميم وغير المثبتين. ولا يمثل أي منهما قياسا للملف الذي تم تنزيله. قيمة generator_key هي a69a855b91615d22 و llama_cpp_version هي b10883. تحدد هذه القيم بيانات وصفة تم فحصها، لا أوزان المصدر لديك ولا وقت تشغيل الخدمة.

ما الذي تدعمه أدلة الإصدار

KLD هي دقة توزيع، وليست دقة مهمة

يبلغ بارتوفسكي عن تباعد KL بين احتمالات الرموز المكممة و BF16 على wikitext-2-raw عند سياق 512. تستخدم المقارنات المباشرة 100 مقطع، ثم تزيد إلى 300 عندما تكون الفروق قريبة. هذه إعداداته التجريبية، وليست ميزانية تقييم عامة.

تشير KLD الأقل إلى توزيعات أقرب إلى المرجع ضمن ذلك الإعداد. وهي لا تثبت دقة الاستخراج، أو جودة السياق الطويل، أو سرعة الاستدلال. تشرح وثائق الالتباس في llama.cpp مقارنات لوغاريتمات المرجع، واعتمادها على التنفيذ، وتقديرات عدم اليقين.

يفيد الإصدار بأن النماذج الكثيفة دون نحو ثلاثة بتات تعادلت غالبا مع الطريقة الأقدم، بينما اقتربت التحسينات فوق نحو Q5 من الضجيج. استخدمت السابقة في البداية نموذجين صغيرين من Qwen، مع تصحيحات لاحقة مشتقة من Granite. اقرأ ذلك كحدود لأدلة المؤلف، لا كضمانات أداء على مستوى المعماريات.

تكرار الإصدار ليس تغطية عامة

تصف المقالة فشل كناري MiniCPM المبكر وتصحيحات لاحقة في المولد والسابقة، ثم تحدد MiniCPM و Gryphe Pantheon كإصدارات تستخدم الطريقة. يعكس رجوع سابق وأثر مخطط لاحق عملية تكرار، لا دليلا على تناقض.

تقول بطاقة MiniCPM صراحة إن بعض الملفات تستخدم تخطيطات محسوبة. توفر ملفات Q4_K_M المثبتة أعلاه مثالا ملموسا واحدا. توثق بطاقة Gryphe Pantheon التخطيطات ومقارنات الكناري بشكل منفصل. ولا يثبت أي منهما تغطية مخططة لكل تكميم.

يبقى توقع بارتوفسكي بأن الحساسية تنتقل بين الأشكال المتطابقة فرضية يجب اختبارها للنماذج المضبوطة بدقة والمعماريات غير المعتادة. لا تتحقق المقالة من ذلك التوقع بشكل مستقل.

خريطة انتقال وصفة التكميم

ثبت المصدرية وافرق التعيينات

خريطة انتقال وصفة التكميم المقترحة من Optijara هي سجل قرار يربط أثرا بديلا بوصفته ومقارنته وخطة الرجوع. وهي ليست معيارا خارجيا ولا اختبارا معياريا منفذا.

افرق التعيينات حسب اسم الموتر الدقيق، بما في ذلك الموترات الأعلى دقة المحتفظ بها. حافظ على ترتيب الأنماط: يوثق المولد المثبت أن أول نمط مطابق هو الذي يفوز. قد تفقد المجموعة غير المرتبة معلومات إعادة البناء.

يثبت تثبيت Hugging Face 689246ff8d3d9b7f80495a9c883ac6f19a582630 ملفات الوصفة التي تم فحصها. ولا يثبت مراجعة أوزان المصدر الأصلية. وبالمثل، لا يعد مسار مصدر محلي في البيان هوية مصدر قابلة للنقل.

قارن البايتات الفعلية قبل الجودة

أعلن غلاف التخزين قبل اختيار البدائل. أبق أوزان المصدر ومدخلات المعايرة ثابتة. اختر مرشحين قديمين ومخططين قريبين، ثم سجل عدم تطابق البايتات المتبقي. مطابقة أسماء الملفات ليست بديلا عن هذه المحاسبة.

إذا تعذرت مطابقة البايتات بدقة، فارسم KLD المقاسة مقابل الحجم المقاس للمرشحين القريبين. صنف الاستيفاء كتقدير، لا كاختبار معياري مرصود. أبق KLD الخام والبتات لكل وزن مرئية. تصف عبارة المؤلف KLD per bit منحنى مقارنة يراعي الحجم؛ ولا تنشئ هذه المقالة درجة موحدة لحاصل قسمة KLD على البتات.

تغطي وثائق التكميم مصفوفات الأهمية وتجاوزات الموترات. تأكد من دعم الخيارات في الملف التنفيذي الدقيق المستخدم لبناء الأثر. قد تختلف الوثائق الحالية عن بناء أقدم.

أبق التجربة داخل مسار خدمة واحد. تتناول مقارنتنا لمسار Qwen المكمم المشكلة المنفصلة المتعلقة بالانتقال بين BF16 و GGUF و SGLang. تغيير المسارات أثناء اختبار وصفة يضيف تفسيرا آخر للفروق المرصودة.

شغل الكناري واحتفظ بمفتاح قابل للرجوع

تقارن سياسة الكناري لدى بارتوفسكي الوصفات المخططة مع تغييرات llama.cpp الخاصة به عند Q4_K_M و Q3_K_M و IQ2_XS، أو أصغر هدف. يتم رفض الخريطة عندما يقع مرشح مخطط فوق منحنى مقارنة KLD مقابل البتات بما يتجاوز الضجيج. هذه أهدافه وقواعد الرجوع الخاصة به، وليست عتبات تطبيق عامة.

إعادة إنتاج تلك التجربة والمقارنة مع تنزيل موجود تمرينان مختلفان. سم خط الأساس. أبق مرجع BF16، والمتن، والتجزئة إلى رموز، والسياق، واختيار المقاطع، والمقيم ثابتة. احتفظ بالمخرجات الخام ومعلومات عدم اليقين.

ثم اختبر المهام التمثيلية وسلوك وقت التشغيل مقابل متطلبات معلنة مسبقا. احتفظ بالأثر القديم المتحقق منه وتكوين الخدمة. لا يمكن لمنحنى دقة موات أن يتجاوز مطلب عبء عمل فاشلا.

لا يحتوي هذا السجل التوضيحي على نتائج مرصودة. املأ الحقول null بمعرفات أو قياسات متحقق منها.

{
  "framework": "Quant Recipe Migration Map",
  "status": "proposed_not_executed",
  "provenance": {"sourceRevision": null, "generatorCommit": null, "priorRevision": null},
  "oldArtifact": {"sha256": null, "bytes": null},
  "candidateArtifact": {"sha256": null, "bytes": null},
  "recipeDiff": null,
  "comparisonSettings": {"reference": null, "corpus": null, "context": null, "runtimeRevision": null},
  "measurements": {"kld": null, "taskQuality": null, "latency": null, "peakMemory": null},
  "rollbackArtifact": null
}

قس الفائدة بمعزل عن KLD

أبق أعمدة منفصلة للقرارات المنفصلة

ينبغي ألا تخفي ورقة المقارنة المفاضلات داخل نتيجة واحدة. التخزين، ودقة التوزيع، وقبول عبء العمل، والكمون، والذاكرة تجيب عن أسئلة مختلفة. يقدم تحليلنا لمعيار Qdrant تمييزا مماثلا بين دقة المرجع وفائدة التطبيق، باستخدام قياسات مختلفة.

بالنسبة للاستخراج، سجل الحقول المطلوبة. وبالنسبة للمخرجات المنظمة، افصل صلاحية المخطط عن صحة المحتوى. أدرج حالات سياق أطول عند الحاجة: لا يمكن لاختبار مرجعي بسياق 512 أن يتحقق منها. احتفظ بمهام محجوبة بدلا من الاختيار المتكرر مقابل مجموعة تقييم واحدة.

بالنسبة إلى RAG المحلي، ثبت المقاطع المسترجعة وقالب المطالبة أثناء تبديل GGUF. سجل صحة الإجابة، ودعم الاستشهادات، والامتناع كل على حدة. هذا يبقي تغييرات الاسترجاع خارج مقارنة المولد.

بايتات الملف ليست ذروة الذاكرة

لا يحسب حجم التنزيل ذاكرة KV cache الخاصة بعبء العمل، أو مساحة عمل وقت التشغيل، أو سلوك المخصص. قس ذرى المضيف والجهاز تحت الإعدادات المقصودة. يناقش دليل ميزانية جهاز MiniCPM5 سؤال النشر المنفصل ذلك.

أبق إعدادات الخدمة ثابتة لاختبارات التوقيت. سجل سلوك البدء البارد والسلوك الدافئ كل على حدة عندما يهمان. لا يثبت أثر أصغر ولا KLD أقل استدلالا أسرع. إذا كانت ترقية وقت التشغيل جزءا من الاختبار، فصنف ذلك كمتغير إضافي بدلا من نسب تغير التوقيت إلى التوزيع وحده.

أخطاء شائعة وحدود متبقية

مطابقة أسماء الملفات بدلا من الآثار

تجنب التبديلات القائمة على الاسم فقط، والتفسيرات على مستوى الملف الكامل لحصص الجسم، والبدائل الأقرب شكلا للتسميات المتوقفة. استخدم التعيينات والبايتات المقاسة. تساعد روابط الفروع القابلة للتغير في الاكتشاف لكنها لا تثبت قابلية التكرار: احتفظ بمراجعات غير قابلة للتغير للبطاقة، والوصفة، والأثر المستخدم في القرار.

لا تخلط بين مولد مثبت وأوزان مصدر مثبتة، أو بين تخزين موتر متوقع وحجم تنزيل مقاس. تحد المصدرية الناقصة مما يمكن للمقارنة إثباته حتى عندما ينجح اختبار التطبيق.

التعامل مع السابقة كدعم على مستوى المعمارية

تحدد حدود الإصدار صراحة جداول PLE n-gram و MLA المبوّبة في Hy4 كثغرات غير معالجة. تبرر التصحيحات السابقة للنماذج الكثيفة استمرار الكناري، لا ادعاءات التغطية العامة. وقد يصعب أيضا فصل فروق الدقة الأعلى الصغيرة عن الضجيج.

اترك وقتا لإعادة التوليد، والتحقق، واختبار توافق وقت التشغيل. قد يفوت متن مرجعي ضيق نكسات عبء العمل. بالنسبة إلى مستندات التقييم الخاصة، حدد قواعد الوصول والتسجيل والاحتفاظ قبل الاختبار؛ التنفيذ المحلي وحده لا يحسمها.

ليست تعبئة التكميم دليلا على حقوق ترخيص جديدة، أو تفوق معياري على Unsloth أو ناشر آخر، أو وفورات موعودة. عندما تكون المصدرية أو التقييم غير مكتملين، احتفظ بالأثر الحالي المتحقق منه بدلا من وصف الانتقال بأنه متحقق منه.