Claude Fable 5 وMythos 5: قائمة مراجعة تقييم المؤسسة لمشغلي الذكاء الاصطناعي

لماذا هذه مشكلة تقييم وليست مبادلة نموذج

ينبغي لـ Claude Fable 5 وClaude Mythos 5 أن يجعلا فرق الذكاء الاصطناعي في المؤسسة تتوقف مؤقتًا قبل تغيير معرف نموذج إنتاج واحد. السؤال المفيد ليس ما إذا كان النموذج الأحدث يبدو أقوى على الورق. بل يتعلق الأمر بما إذا كان سير عمل معين يتحسن بعد الترحيل، مع عدد أقل من الإجابات السيئة، وعدد أقل من الإصلاحات اليدوية، وزمن الوصول المقبول، ومعالجة الرفض الواضحة، وملف تعريف التكلفة الذي يمكن للشركة الدفاع عنه.

تمنح وثائق Anthropic للمشغلين العديد من الحقائق الملموسة للعمل معها. معرفات نماذج واجهة برمجة التطبيقات هي claude-fable-5 و claude-mythos-5. تتكون نافذة السياق الموثقة من مليون رمز مميز بشكل افتراضي، مع ما يصل إلى 128 ألف رمز مميز للإخراج. تسرد الأسعار المنشورة 10 دولارات لكل مليون رمز إدخال و50 دولارًا لكل مليون رمز إخراج. هذه الأرقام مهمة، لكنها ليست حالة عمل في حد ذاتها. من الممكن أن يظل النموذج الذي يكلف أكثر لكل رمز هو الخيار الصحيح لسير العمل الصعب إذا كان يعمل على تحسين جودة المخرجات المقبولة أو تقليل عمليات إعادة المحاولة بعد القياس. والعكس صحيح أيضاً. قد يكون النموذج الأقوى مضيعة للوقت عندما تكون المهمة عبارة عن استخراج أساسي أو إعادة كتابة روتينية.

وجهة نظري: العديد من الفرق تبالغ في الهجرة. إنهم يرون إطلاق نموذج جديد ويعاملونه كترقية تبعية. هذا هو النموذج العقلي الخاطئ للذكاء الاصطناعي في المؤسسات. النموذج هو جزء من نظام إنتاج يتضمن المطالبات والاسترجاع والأدوات والسجلات والمسارات الاحتياطية والمراجعة البشرية وتوقعات المستخدم. قم بتغيير النموذج وسيتمكن النظام بأكمله من التحرك.

الخرافة 5 مقابل Mythos 5: اختلاف عامل التشغيل

Fable 5 هو المرشح الذي ستقيمه العديد من الفرق لاستخدامه في الإنتاج. استنادًا إلى توثيق Anthropic، فهو في وضع يسمح له بالاستدلال والترميز والتحليل والعمل طويل السياق والمهام الوكيلة طويلة الأفق. هذا لا يعني أن كل عبء عمل المؤسسة يجب أن ينتقل إليه. ويعني ذلك أن مجموعة التقييم يجب أن تتضمن العمل الذي يجهد النموذج الحالي حاليًا.

يحتاج Mythos 5 إلى قراءة أكثر برودة. يصفها Anthropic بأنها مشاركة قدرات Fable 5، ولكن بدون مصنفات الأمان، ومع توفرها من خلال Project Glasswing. وهذا التمييز ليس تجميليا. تؤثر مصنفات الأمان على ما يرفضه النموذج، وكيف يجب أن يستجيب التطبيق، وما هي ضوابط الإدارة التي تحتاجها للجلوس حول سير العمل. ينتمي النموذج الذي لا يحتوي على هذه المصنفات إلى مسار تقييم أضيق، وليس إلى حركة مرور المؤسسة العادية بشكل افتراضي.

من السهل تفويت مشكلة تجربة المستخدم. يمكن أن يأتي الرفض كاستجابة ناجحة لواجهة برمجة التطبيقات (API)، وليس كخطأ في التطبيق. إذا كان المنتج يتعامل مع كل HTTP 200 كمحتوى قابل للاستخدام، فقد يظهر الرفض في الواجهة كإجابة مربكة. يجب أن يقوم التطبيق بفحص سبب التوقف: الرفض، وتحديد ما حدث، وتوجيه الخطوة التالية بنية.

إطار تقييم FABLE

بالنسبة للأسطورة 5، استخدم خطة تقييم على مستوى المهمة. يعد الاختصار مفيدًا لأنه يحافظ على صدق الفريق: الملاءمة والدقة والسلوك والكمون والاقتصاد.الملاءمة تأتي أولاً. قم بتعيين عمل المرشح في عائلات المهام الحقيقية قبل الاختبار. لا ينبغي أن يشترك منطق المستندات، والمساعدة في الترميز، والبحث الوكيل، ودعم العملاء، ومراجعة الامتثال، واسترجاع المعرفة الداخلية، والتوليد الإبداعي في بطاقة أداء واحدة. يمكن أن يعمل النموذج على تحسين تحليل المستودع ويظل غير ضروري لوحدات الماكرو ذات الدعم القصير.

الدقة هي الخطوة التالية، ويجب الحكم عليها من خلال الأمثلة التي تعترف بها الشركة. أنشئ مجموعات بيانات ذهبية بمطالبات شبيهة بالإنتاج، وإجابات جيدة معروفة، وحالات فشل واضحة، وطلبات حساسة، وأمثلة لاستخدام الأدوات، وعينات طويلة السياق، ومطالبات عدائية، وأمثلة متعددة اللغات عندما تكون مهمة. يمكن أن تساعد المعايير العامة في تحديد السياق، لكنها لا تستطيع إخبار الفريق القانوني ما إذا كان ملخص العقد آمنًا بدرجة كافية للاستخدام.

السلوك هو المكان الذي تفشل فيه العديد من الهجرات. قياس معدل الرفض، وملاءمة الرفض، والحساسية السريعة، واتساق استدعاء الأدوات، وتدهور السياق الطويل، وموثوقية تنسيق الاستجابة. إذا كان سير العمل يعتمد على JSON، فلا تقبل النثر الجيد كمرور. إذا كان سير العمل يستدعي أدوات، فسجل ما إذا كان النموذج قد اختار الأداة الصحيحة، ومرر وسيطات صالحة، وتعامل مع البيانات المفقودة، وتوقف عند النقطة الصحيحة.

الكمون يحتاج إلى حركة مرور واقعية. قم باختبار المطالبات القصيرة، والمطالبات الطويلة، وسير العمل المعزز بالأدوات، والمهام المجمعة كبيرة الحجم بشكل منفصل. قم بتضمين التزامن وإعدادات المهلة وحجم السياق وسلوك ذاكرة التخزين المؤقت وعمليات إعادة المحاولة الاحتياطية والمسارات الأبطأ التي سيصل إليها المستخدمون بالفعل. متوسط ​​الكمون ليس كافيا. شاهد p95 وp99، لأن هذه هي الأرقام التي غالبًا ما تشكل تذاكر الدعم.

وينبغي قياس الاقتصاد حسب المخرجات المقبولة، وليس حسب استدعاء النموذج. قم بتضمين الرموز المميزة للإدخال، والرموز المميزة للمخرجات، ومعدل ضربات ذاكرة التخزين المؤقت، والطلبات المرفوضة، وإعادة المحاولة الاحتياطية، ووقت المراجعة البشرية، والتسجيل، وعمليات التقييم، والدعم التشغيلي. السؤال المفيد ليس ما إذا كانت Fable 5 أرخص أم لا. يتعلق الأمر بما إذا كان Fable 5، بالنسبة لسير العمل هذا، ينتج نتائج مقبولة كافية بتكلفة إجمالية مقبولة.

قائمة التحقق من الترحيل قبل استبدال نموذج كلود الموجود

ابدأ بمجموعة تقييم تمثيلية. ويجب أن تحتوي على الطلبات العادية، والحالات الصعبة المعروفة، والأمثلة التي فشلت سابقًا، والمطالبات الحساسة للسياسة، والمستندات الطويلة، واستدعاءات الأدوات، ومتطلبات المخرجات المنظمة، وأمثلة من اللغات التي يستخدمها المستخدمون. احتفظ بالمجموعة صغيرة بما يكفي للمراجعة الدقيقة في البداية. إن اختبار ألف مثال غير المتقن أقل فائدة من مائتي مثال مع تسميات جيدة.

قم بإجراء مقارنات جنبًا إلى جنب مع نموذج الإنتاج الحالي، بما في ذلك Claude Opus 4.8 إذا كان موجودًا بالفعل في المكدس. لا تسأل المراجعين عن الإجابة التي يحبونها. اطلب نجاح المهمة، وخطورة الخطأ الفعلي، والمتطلبات المفقودة، والامتثال للتنسيق، وصحة استدعاء الأداة، وحاجة التصعيد، وثقة المراجع. تساعد المراجعة العمياء عندما يكون لدى الفريق تحيز في الإطلاق.

رفض الاختبار كحالة منتج. بالنسبة لكل طلب مرفوض، قم بتصنيف ما إذا كان الرفض مناسبًا، أو واسعًا جدًا، أو ضيقًا جدًا، أو غير واضح. ثم قرر ما يجب أن يراه المستخدم. بعض الحالات تحتاج إلى سؤال توضيحي. يجب أن يعود البعض إلى سير عمل أكثر أمانًا أو أضيق. يجب أن يتصاعد البعض إلى شخص. يجب ببساطة رفض البعض بلغة واضحة.التحقق من صحة سلوك السياق الطويل باستخدام مدخلات على شكل إنتاج. تعد نافذة سياق الرمز المميز 1M مفيدة، ولكنها يمكن أن تخفي بنية المعلومات الضعيفة. قد يؤدي إغراق مكتبة سياسة كاملة أو مستودع في موجه إلى العمل في عرض توضيحي ويفشل تحت ضغط التكلفة أو زمن الاستجابة أو الملاءمة. قارن مطالبة السياق الكامل بالاسترجاع والملخصات وتقطيع الملفات والسياق المخبأ.

وكلاء الاختبار والأدوات والمخرجات المنظمة بشكل منفصل عن الدردشة العادية. يمكن للنموذج أن يكتب خطة ممتازة ويستمر في الاتصال بنقطة النهاية الخاطئة. يمكن أن ينتج JSON صالحًا في مهام قصيرة وينجرف عندما يصبح السياق كبيرًا. قم بتضمين التحقق من صحة المخطط، وفحص وسيطات الأداة، وسلوك إعادة المحاولة، وإكمال المهام بشكل شامل.

قم بتعيين مشغلات التراجع قبل الإطلاق. تتضمن المحفزات الجيدة سلوك الرفض غير المقبول، أو انحراف التكلفة، أو تراجع زمن الوصول، أو كسر المخطط، أو انخفاض ثقة المراجع، أو ارتفاع معدلات التصعيد، أو التصحيح اليدوي الأكثر تكرارًا. إن الطرح المرحلي بدون معايير التراجع هو مجرد إطلاق بطيء.

توجيه الأمان دون الإخلال بتجربة المستخدم

تعامل مع الرفض كنتيجة طبيعية. الطريق العملي بسيط: قم بتصنيف الطلب، واستدعاء Fable 5، وفحص stop_reason وأي معلومات مصنف تم الإبلاغ عنها، ثم اختر الإجراء التالي. قد يكون الإجراء التالي هو التوضيح، أو التراجع، أو التصعيد، أو التراجع الواضح. المفتاح هو أن التطبيق هو من يقرر، وليس الاستجابة للنموذج الأولي.

يجب أن يعتمد التصميم الاحتياطي على مخاطر المهمة. غالبًا ما يمكن إعادة محاولة العمل الإنتاجي منخفض المخاطر باستخدام مطالبة أضيق أو الرجوع إلى النموذج الحالي. تحتاج مسارات العمل المنظمة إلى سجلات أكثر صرامة، وتسميات سياسة، وتصعيد بشري. يحتاج الدعم الذي يواجه العملاء إلى نسخة دقيقة حتى لا يظهر للمستخدم لغة السلامة الداخلية. يحتاج وكلاء التشفير إلى حواجز حماية حول الوصول إلى الملفات وتنفيذ الأوامر والكشف السري. قد يبرر التقييم الأمني ​​والفريق الأحمر طرقًا مختلفة، ولكن فقط من خلال نطاق مكتوب ومراجعة.

تناقش مستندات Anthropic الخيارات الاحتياطية، بما في ذلك أنماط مستوى واجهة برمجة التطبيقات (API) وأنماط جانب العميل. لا يزال يتعين على الفرق اختبار السلسلة بأكملها. يمكن أن يؤدي الإجراء الاحتياطي الذي يعمل على تحسين معدل الإكمال أيضًا إلى زيادة زمن الوصول أو التكلفة أو التعرض للسياسة. تفاصيل الفوترة مهمة أيضًا: تنص وثائق Anthropic على أن الطلبات التي تم رفضها قبل إنشاء أي مخرجات لا تتم فوترتها، بينما لا يزال السلوك الاحتياطي بحاجة إلى القياس.

يجب أن تدخل Mythos 5 في هذه المناقشة بانضباط فقط. قد يكون لدى الفريق سبب وجيه لتقييم نموذج بدون مصنفات السلامة، خاصة بالنسبة للأبحاث المتخصصة في إطار مشروع Glasswing. وهذا ليس مثل إرسال حركة المرور العادية للموظفين أو العملاء إليها. قبل استخدام Mythos 5، شروط الوصول إلى المستندات، وحالات الاستخدام المعتمدة، والمراقبة، ومعالجة البيانات، ومالكي المراجعة، وعملية الحادث، والسبب في أن Fable 5 غير كافية.

يجب أن تكون مجموعة التحكم مملة وصريحة: سجلات التدقيق، وتتبع الإصدار السريع والنموذجي، وتسميات السياسة، وإعادة التقييم، ومسارات التصعيد البشرية، ومعدلات الرفض على لوحة المعلومات، ومراجعة الحوادث. الضوابط المملة هي التي تمنع التجارب النموذجية من أن تصبح مفاجآت إنتاجية.

اختبار التكلفة: قياس سير العمل

سعر الرمز هو مجرد نقطة البداية. وفقًا للمعدلات المنشورة في وثائق تسعير Anthropic، تم إدراج Fable 5 وMythos 5 بسعر 10 دولارات لكل مليون رمز إدخال و50 دولارًا لكل مليون رمز إخراج. تحقق من الأسعار قبل الشراء أو الإطلاق، لأن أسعار المزود يمكن أن تتغير.غالبًا ما تكون التكلفة الخفية هي السياق. تغري نافذة الرمز المميز التي تبلغ مليونًا الفرق بإدراج كل شيء. يمكن أن يكون ذلك معقولًا لبعض المهام القانونية أو الهندسية أو البحثية، ولكنه مكلف إذا كان النظام يعوض الاسترجاع الضعيف. اختبار المطالبات الأقصر، ومطالبات الاسترجاع أولاً، والسياق المخزن مؤقتًا، وحدود الإخراج، والقواعد الاحتياطية.

تعمل صيغة التكلفة البسيطة بشكل جيد: إجمالي تكلفة رمز الإدخال بالإضافة إلى تكلفة رمز الإخراج بالإضافة إلى تكلفة إعادة المحاولة بالإضافة إلى التكلفة الاحتياطية بالإضافة إلى وقت المراجعة بالإضافة إلى النفقات العامة للتنسيق، مقسومًا على المخرجات المقبولة. يجب تتبع حالات الرفض بشكل منفصل حتى يتمكن الفريق من معرفة ما إذا كان سلوك السلامة يؤدي إلى توفير التكلفة، أو زيادة الاحتكاك، أو كشف فجوات المنتج.

وينبغي ملء الجدول بالبيانات المقاسة، وليس بالتفاؤل في يوم الإطلاق. إذا أدى Fable 5 إلى تقليل وقت المراجعة أو تحسين معدل المخرجات المقبول في تقييم مُقاس، فقد يكون سعر الرمز المميز الأعلى مبررًا. إذا كان ذلك يجعل المهام السهلة أكثر تكلفة، فاترك تلك المهام حيث هي.

أين لا تهاجر بعد

لا تقم بنقل المهام ذات الحجم الكبير والمنخفضة التعقيد ما لم تكن الأدلة قوية. غالبًا ما لا يحتاج التصنيف البسيط والملخصات النموذجية والاستخراج الأساسي وإعادة الكتابة الروتينية إلى أقوى نموذج في المكدس. قد يكون النموذج الأرخص مع المطالبات الجيدة هو الحل الصحيح.

تجنب الترحيل عندما يفتقر الفريق إلى بيانات التقييم. لا توجد مجموعة ذهبية، ولا قواعد تقييم، ولا إصدار سريع، ولا سجلات، ولا يوجد مسار تراجع يعني أن الفريق لا يستطيع معرفة ما إذا كان الترحيل قد أدى إلى تحسين أي شيء. هذا ليس قرارا هندسيا. إنه تخمين مع الفواتير المرفقة.

الأنظمة التي لا يمكنها التعامل مع stop_reason: يجب ألا يرسل الرفض حركة مرور مهمة إلى Fable 5. يجب أن يعرف المنتج معنى الرفض، وكيفية إرسال رسالة إليه، ومتى يتم التوجيه إلى مكان آخر. وينطبق هذا بشكل خاص على التدفقات التي تواجه العملاء والتدفقات المنظمة.

إن سير العمل ذو السياق الطويل مع الاسترجاع الفوضوي يستحق المزيد من الشك. إذا كان النظام الحالي يحتوي على مستندات مكررة، أو سياسات قديمة، أو بيانات تعريف ضعيفة، أو لا يوجد تصنيف للمصدر، فإن نافذة السياق الأكبر قد تجعل المشكلة أكثر تكلفة. أصلح جودة المعلومات قبل الاحتفال بحجم السياق.

بالنسبة لـ Mythos 5، يجب أن تكون الإجابة الافتراضية هي لا حتى تتضح حالة الحوكمة. التوفر من خلال مشروع Glasswing وغياب مصنفات السلامة ليست تفاصيل يجب التغاضي عنها. وهي تحدد ملف تعريف المخاطر.

خطة تقييم لمدة 30 يومًا

في الأسبوع الأول، أعباء عمل مرشح المخزون. لكل واحد، قم بتسجيل النموذج الحالي، وتأثير المستخدم، وحساسية البيانات، وحجم الطلب، ومعايير النجاح، وخطورة الفشل، والمالك. قم بتسمية المخاطر قبل بدء الاختبار.

في الأسبوع الثاني، قم ببناء مجموعة التقييم والنموذج الأولي للتوجيه. قم بإنشاء المطالبات، وتكوين claude-fable-5، وإضافة اكتشاف الرفض، وإعداد المسارات الاحتياطية، وتحديد عناوين المراجع. أبقِ Mythos 5 بعيدًا عن المسار الطبيعي ما لم تكن هناك حالة استخدام موثقة لمشروع Glasswing.

في الأسبوع 3، قم بإجراء الاختبارات. قم بمقارنة المخرجات جنبًا إلى جنب، ومحاكاة التحميل، واختبار سيناريوهات السياق الطويل، وقياس التكلفة لكل مخرج مقبول، ومراجعة حالات الفشل مع خبراء المجال. قم بفصل أنواع المهام في النتائج بحيث لا يخفي سير عمل قوي واحدًا آخر ضعيفًا.في الأسبوع الرابع، قرري. يمكن أن تكون الإجابة هي الترحيل أو التأجيل أو التوجيه جزئيًا أو الاستمرار في الاختبار. نطاق طرح الوثيقة، ولوحات المعلومات، والمالك، ومشغلات التراجع، وتأثير الشراء. يمكن لـ Optijara مساعدة الفرق في تصميم أنظمة تقييم النماذج، وتوجيه السلامة، واختبارات التكلفة، وخطط الترحيل المرحلية، ولكن المبدأ هو نفسه بالنسبة لأي فريق ذكاء اصطناعي ناضج: نقل عبء العمل فقط عندما تشير الأدلة إلى أن النظام يتحسن.