اختبار قبول مراجعة أمن الذكاء الاصطناعي: ما الذي تعلمنا إياه Aave V3 و V4 عن فرز ماسحات العقود الذكية

ابدأ بالقيد غير اللامع. يستطيع ماسح أمني يعمل بالذكاء الاصطناعي أن ينتج قائمة واثقة من التنبيهات خلال دقائق. لكن قائد الأمن ما زال عليه أن يقرر أي التنبيهات حقيقية، وأيها مكرر، وأيها يمكن إعادة إنتاجه، وأيها يستحق وقت المراجع هذا الأسبوع.

لهذا السبب تكون مراجعة Aave المبلغ عنها والمدعومة بالذكاء الاصطناعي لكل من Aave V3 و V4 أكثر فائدة كاختبار سير عمل منها كعنوان انتصار. أفادت Aave Labs بوجود 71 نتيجة إجمالية عبر ثلاث أدوات أمن ذكاء اصطناعي مجهولة الاسم. قبلت المراجعة اليدوية 20 منها. يقول مقال Aave إن النتائج المقبولة كانت منخفضة أو معلوماتية، بينما عوملت عدة تنبيهات وصلت كحرجة أو عالية لاحقًا على أنها إيجابيات كاذبة بعد التحقق البشري.

هذه الأرقام مثيرة للاهتمام. ومن السهل أيضًا إساءة استخدامها. إنها نتائج مبلغ عنها من المشروع ضمن نطاق ومنهج محددين. وهي لا تثبت أن بروتوكولًا أو مستودعًا أو إصدارًا آمن. إنها تظهر شيئًا أضيق وأكثر تشغيلية: تحتاج مخرجات الماسح إلى اختبار قبول قبل السماح لها بتشكيل تسليم التدقيق، أو سياسة CI، أو قرارات إصدار الإنتاج.

تنطبق الفكرة نفسها خارج العقود الذكية. مراجعات أمن التطبيقات، وفحوصات API، ومسوح سياسات البنية التحتية، ومراجعة الشيفرة المدعومة بالذكاء الاصطناعي، كلها تصطدم بالمشكلة نفسها. الأداة التي تبدو واثقة قد تكون مخطئة بشأن قابلية الوصول، أو افتراضات الأدوار، أو الأثر، أو السبب الجذري المكرر. استخدمت Optijara نمط بوابة القبول نفسه في تأهيل VLM المحلي، وقابلية إعادة إنتاج خوارزمية X، وبنية الذكاء الاصطناعي الحساسة للكمون. يجب أن تواجه ماسحات الأمن الانضباط نفسه.

رأيي مباشر: الماسح كثير الضجيج ليس عنصر تحكم أمنيًا. إنه مصدر لخيوط أولية. ولا يصبح عنصر تحكم إلا بعد أن يستطيع الفريق إعادة إنتاج مدخلاته، وتوحيد نتائجه، ومعايرة الشدة، وتسجيل القرارات البشرية.

لماذا تعد مراجعة Aave المدعومة بالذكاء الاصطناعي اختبارًا لقابلية إعادة الإنتاج وليست احتفالًا بالانتصار

أفادت Aave بأن ثلاث أدوات أمنية تعمل بالذكاء الاصطناعي شغلت على مستودعات إنتاج Aave V3 و Aave V4. غطت المسوح أشجار src الكاملة عند التزامات مثبتة. وعندما كانت الأدوات تدعم ذلك، تلقت سياقًا مشابهًا لما كان سيحصل عليه المدققون البشر، بما في ذلك سياق نموذج التهديد والتدقيق.

وصفت Aave أيضًا اختبار الطفرات على أربعة عقود من V4، وهي Hub وSpoke وTreasurySpoke وAaveOracle. استخدم الاختبار 304 طفرات متعمدة. قتلت الاختبارات الموجودة 271 منها، بينما كانت 33 غير حاسمة لأن مجموعات الاختبار انتهت مهلتها.

كان العنوان الرئيسي هو 71 نتيجة مطروحة و20 نتيجة مقبولة بعد المراجعة اليدوية. الدرس الأفضل موجود في التصفية. تقول Aave إن النتائج صنفت يدويًا على أنها صالحة، أو إيجابية كاذبة، أو مكررة، أو حسب التصميم. هناك تعيش عملية المراجعة.

الماسح الذي يصدر 71 تنبيهًا ليس تلقائيًا أقوى من ماسح يصدر عددًا أقل. قد يعني الحجم تغطية. وقد يعني أيضًا أسبابًا جذرية مكررة، أو سياقًا ضعيفًا، أو افتراضات قديمة، أو تفسيرات مولدة حول مسارات شيفرة غير مهمة. السؤال لقائد الأمن أدق: بعد التوحيد، وإزالة التكرار، ومراجعة الشدة، والتحكيم البشري، ماذا يبقى؟

لا ينبغي قراءة غياب نتائج حرجة أو عالية مؤكدة في هذا النطاق المبلغ عنه كدليل على الأمن. إنه يعني أن تلك النتائج لم تؤكد ضمن حالة الشيفرة المبلغ عنها، وسلوك الأداة، ومنهج المراجعة، وعملية التصنيف البشري. وهذا ما زال دليلًا مفيدًا. لكنه ليس بديلًا عن نمذجة التهديدات، أو التدقيقات المستقلة، أو التحقق الرسمي، أو المسابقات، أو المراقبة، أو تخطيط الاستجابة للحوادث، أو ضوابط الإصدار.

خط الأساس للأدلة: تثبيت المصدر والالتزام والأداة والمنهج

بوابة AISRAT الأولى هي أمانة الأثر. قبل أن يناقش أي شخص الشدة، يحتاج الفريق إلى حزمة أدلة تثبت هدف المراجعة الدقيق. على الأقل، سجل عنوان URL لمستودع المصدر، وتجزئة الالتزام، وملفات قفل التبعيات، وإصدارات المترجم، وحاوية البناء، وتكوين الماسح، والمهل الزمنية، والأذونات، والتقارير المولدة، والمسارات المستبعدة، وملاحظات المراجع.

يقول مقال Aave إن المسوح شغلت على التزامات مثبتة لمستودعات إنتاج وغطت أشجار المصدر. تعرض المستودعات العامة لـ Aave V3 Origin و Aave V4 الشيفرة ذات الصلة، والتدقيقات، والتقارير، والاختبارات، والسكربتات، ومجلدات التوثيق. يمنح ذلك القراء سياقًا مفيدًا، لكن اختبار القبول الداخلي يحتاج إلى أكثر من السياق.

يجب أن يكون الفريق قادرًا على إعادة بناء الهدف من بيئة نظيفة وإعادة إنتاج مدخلات الماسح. إذا تعذر إعادة بناء الأثر الممسوح، فإن مراجعة الشدة تقف أصلًا على أرض ضعيفة. نطاق المستودع ليس هو نفسه نطاق الشيفرة المراجعة. قد يحتوي المستودع على src، واختبارات، وسكربتات، ومستندات، وملفات مولدة، ووحدات مهملة، ومحولات، وحزم محيطية. يمكن لكل منها أن يؤثر في حجم التنبيهات وعبء المراجع.

يمكن للماسحات المدعومة بالذكاء الاصطناعي أيضًا أن تغير مخرجاتها عندما يتغير نموذج، أو موجه، أو مجموعة قواعد، أو مصدر استرجاع، أو إصدار كاشف، أو مهلة زمنية. لن يكشف الموردون دائمًا كل تفصيل داخلي. سجل ما يمكنك رؤيته: إصدار المنتج، وطابع وقت التقرير، وملف التكوين، وقالب الموجه إن استخدم، ولقطة التوثيق، وسطر الأوامر، ومعلمات API، ومتغيرات البيئة التي تؤثر في المخرجات.

المعيار ليس قابلية إعادة إنتاج أكاديمية. المعيار هو قابلية إعادة إنتاج تشغيلية تكفي لتقرير ما إذا كان الماسح ينتمي إلى مسار يؤثر في قوائم انتظار المراجعين، أو بوابات CI، أو حزم التدقيق، أو قرارات الإصدار.

إطار AISRAT

AISRAT اختصار لـ Optijara AI Security Review Acceptance Test. إنه إطار قرار من ست طبقات لتقرير موضع ماسح الذكاء الاصطناعي في مسار مراجعة أمن العقود الذكية أو أمن التطبيقات.

تتحقق أمانة الأثر من أن الماسح راجع الشيفرة التي يهتم بها الفريق. تشمل الحقول المطلوبة المستودع، والالتزام، وأمر البناء، والمترجم، وأقفال التبعيات، وصورة الحاوية، ومسار المصدر، والآثار المولدة، والملفات المستبعدة، وإصدار الأداة، وإصدار النموذج أو مجموعة القواعد حيث يكون متاحًا، والأذونات. بالنسبة إلى العقود الذكية، أضف إصدار المترجم، وافتراضات السلسلة، وتكوين النشر، والتبعيات الوهمية، والاختبارات اللازمة لإعادة إنتاج السلوك.

يجعل توحيد المشكلات مخرجات الماسحات قابلة للمقارنة قبل أن ينفق المراجعون وقتًا عليها. وحد كل تنبيه إلى ملف، ودالة، ومسار شيفرة، وفئة ثغرة، وشروط مسبقة، وادعاء قابلية الاستغلال، ودليل، وثقة، ومجموعة تكرار، وشدة مقترحة، وحالة معالجة، وملاحظات المراجع. السرد الطويل لا يستحق وزنًا إضافيًا لمجرد أنه يبدو موثوقًا.

الشدة ادعاء. وليست دليلًا. يتطلب AISRAT حجة قابلية استغلال أو أثر تلائم نموذج الثقة في النظام. في مقال Aave، خفض التحقق البشري أو رفض تنبيهات وصلت بتسميات حرجة أو عالية. تقترح الأداة الشدة. ويعايرها المراجع مقابل الحالة القابلة للوصول، وافتراضات الأدوار، والأثر، ومسار الشيفرة، ونمط الفشل.

يحتاج تحكيم المراجع إلى بنية. عندما يكون ذلك عمليًا، احجب هوية الأداة عن المراجعين في المرور الأول. سجل قرارات مقبول، ومرفوض، ومكرر، وحسب التصميم، وغير مدعوم، ومسار شيفرة مهلوس. أدرج عينات الإيجابيات الكاذبة وعينات السلبيات الكاذبة مقابل الثغرات المعروفة، أو نتائج التدقيق التاريخية، أو اختبارات الطفرات، أو مجموعات الأخطاء المزروعة.

تقرر اقتصاديات القابلية للتنفيذ ما إذا كان التبني يستحق التكلفة. تتبع زمن أول فرز، وزمن التحكيم، ودقائق المراجع لكل نتيجة مقبولة، وعبء التكرار، والنتائج المعاد فتحها، والتكلفة لكل نتيجة قابلة للتنفيذ ومقبولة. ثم عرف ما يحدث بعد القبول: عتبات CI، والتجاوز البشري، وحزم تسليم التدقيق، وسير عمل الإفصاح، والتحكم في الوصول، والقياس عن بعد، والمراقبات التجريبية، ومعايير التراجع، واختبارات الانحدار.

{
  "framework": "AISRAT",
  "minimumEvidence": ["repo", "commit", "build", "toolConfig", "normalizedFinding", "reviewerDecision"],
  "routeOptions": ["research", "triageAssistant", "ciSignal", "auditInput"],
  "acceptanceQuestion": "Does the scanner produce reproducible, evidence-backed, non-duplicate findings at an acceptable reviewer cost for this route?"
}

مصفوفة قرار المسار

قد يبقى الماسح صاحب الأفكار المفيدة لكن ضعيف قابلية إعادة الإنتاج مناسبًا لمسار البحث. تحتاج بوابة CI إلى معيار أعلى لأنها قد تبطئ التسليم أو تخلق ثقة زائفة. يحتاج مدخل التدقيق الرسمي إلى أنظف حزمة أدلة لأن المدققين يجب أن يستطيعوا فحص القرارات المقبولة والمرفوضة، وليس قائمة العيوب النهائية فقط.

قائمة تنفيذ AISRAT

بالنسبة إلى العقود الذكية، أضف تجميع العقد، وافتراضات النشر، وأدوار الحوكمة، واعتماديات أوراكل، والدوال ذات الامتياز، وافتراضات المراسلة عبر السلاسل، واختبارات الثوابت أو الاختبارات العشوائية. وبالنسبة إلى أمن التطبيقات، أضف إصدارات الخدمات، ومخططات API، وتدفقات الهوية، وتصنيف البيانات، وتكافؤ البيئة، وحالة رسم التبعيات.

أخطاء شائعة

عدد التنبيهات هو الرقم الأسهل في التسويق والأضعف في التشغيل. إنه يكافئ الأدوات المطولة ويعاقب الأدوات التي تكتم المخرجات منخفضة الثقة. القياس الأفضل هو النتائج القابلة للتنفيذ المقبولة بعد التوحيد، وإزالة التكرار، وتحكيم المراجع.

التسمية الحرجة من دون مسار قابل للتنفيذ أو قابل للمراجعة ليست ثغرة حرجة. يطلب AISRAT من المراجعين فصل فئة الثغرة عن دليل قابلية الاستغلال، والحالة القابلة للوصول، وافتراضات الأدوار، والأثر. هذا مهم في الأنظمة التي تضم أدوار حوكمة، وأقفالًا زمنية، وافتراضات أوراكل، وسلوك ارتداد متعمد.

تحرق التكرارات وقت المراجع. الملفات المهلوسة، والمسارات غير القابلة للوصول، وميزات الأطر غير المدعومة، والتبعيات القديمة، والأهداف التي لا يتم تجميعها، يمكن أن تجعل الماسح يبدو منتجًا بينما يضيف قيمة أمنية قليلة. تتبع هذه كفئات خاصة بها. يجب أن تصبح الهلوسات المرفوضة أمثلة انحدار حتى لا تعيدها الأداة نفسها كمشكلات جديدة.

الإيجابيات الكاذبة سهلة الرؤية لأن المراجعين يحدقون فيها. أما السلبيات الكاذبة فتتطلب اختبارًا متعمدًا. استخدم الثغرات المعروفة، ومشكلات التدقيق التاريخية، واختبارات الطفرات، ومجموعات الأخطاء المزروعة، وخطوط أساس التحليل الساكن التقليدية. قد يبقى الماسح ذو الإيجابيات الكاذبة الأقل إشارة CI ضعيفة إذا كان يفوت مشكلات معروفة.

خطة القياس

قارن المسار المدعوم بالذكاء الاصطناعي بخط أساس يستخدم الأثر المثبت ونموذج التهديد نفسيهما. قد يكون خط الأساس مراجعة بشرية فقط، أو تحليلًا ساكنًا تقليديًا، أو مجموعة الماسحات الحالية لدى الفريق. غالبًا ما تكون أهداف الدقة العامة كسولة. اللغة، والإطار، ونضج الشيفرة، وجودة السياق، ونموذج التهديد كلها تغير مستوى الضجيج المقبول.

ابدأ بتجربة محددة النطاق: مستودع واحد، والتزام واحد، ونموذج تهديد واحد، ومسار واحد. قرر ما إذا كان الماسح يستحق أن يكون أداة بحث مساعدة، أو مساعد فرز، أو إشارة CI، أو مدخل تدقيق. لا تتوسع إلا بعد أن تصبح حزمة الأدلة جيدة بما يكفي ليفحصها شخص خارج الفريق المباشر.

مراجعة Aave مفيدة لأنها تظهر الفجوة بين شدة الماسح والأدلة المؤكدة بشريًا. يحول AISRAT تلك الفجوة إلى نظام إدارة. إنه يحمي المراجعين من الضجيج، ويمنح الموردين ملاحظات ملموسة، ويساعد الفرق على تبني مراجعة أمنية مدعومة بالذكاء الاصطناعي من دون ادعاء أن الأداة أصبحت هي المدقق. إذا كان فريقك يصمم مسار مراجعة مدعومًا بالذكاء الاصطناعي، فيمكن لـ Optijara المساعدة في تعريف بوابات القبول، وخطة القياس، وضوابط الحوكمة قبل أن يبدأ الماسح بالتأثير في قرارات الإنتاج.