معيار Qdrant Supernova: استرجاع FineWeb-10B ليس صلة

ما الذي يمكن أن يثبته معيار Qdrant Supernova فعليا

يمكن لمعيار Qdrant Supernova أن يخبرك ما إذا كان نظام متجهات يعيد إنتاج ترتيب جار محدد ضمن شروط معروفة. هذا مفيد. لكنه أضيق أيضا مما تريده فرق كثيرة.

استرجاع الجار الدقيق ليس صلة بشرية، وليس صحة إجابة. مع FineWeb-10B، يبدأ العمل الجاد قبل أي مقارنة بين قواعد البيانات. عليك تعريف عبء العمل، والحفاظ على هويته، وجعل قاعدة التسجيل قابلة للتدقيق. وإلا يصبح المعيار طريقة مصقولة لمقارنة تجارب غير متطابقة.

هذه هي المشكلة العملية. يستطيع نظام استرجاع أن يعيد المقاطع الأقرب إلى تضمين السؤال، ومع ذلك يفوته المقطع الذي يجيب عن السؤال. قد يكون الترتيب أمينا لمساحة التضمين بينما يقدم التطبيق للمستخدم إجابة ضعيفة. هذا ليس تحفظا صغيرا. إنه الحد الفاصل بين معيار متجهات وتقييم RAG.

وفاء الجار، والصلة البشرية، وصحة الإجابة

تعامل مع هذه الأهداف كأهداف مختلفة.

يقيس استرجاع الجار مدى الاتفاق مع مرجع دقيق لتمثيل ومقياس ومرشح وحد قطع محددين. تسأل الصلة البشرية عما إذا كانت المادة المسترجعة تساعد في تلبية الحاجة المعلوماتية. وتسأل صحة الإجابة عما إذا كانت الاستجابة النهائية دقيقة ومدعومة بالأدلة المسترجعة.

يفيد إعلان Qdrant عن الإصدار بوجود 10.07B متجه كثيف و10.07B متجه متفرق. وتصف بطاقة FineWeb-10B مراجع دقيقة لأعلى 1000 نتيجة و100,000 استعلام كثيف، إضافة إلى مجموعات استعلامات متفرقة ومرشحة منفصلة. هذه الأرقام منشورة من الناشر. وهي ليست قياسات من Optijara.

لماذا هذه منهجية وليست لوحة ترتيب لقواعد البيانات

لم تنزل Optijara المجموعة الكاملة ولم تشغل معيارا كاملا أو معيار شريحة لهذا المقال. هذا تصميم تجربة، وليس تقرير نتائج.

يعطي الإعلان الحجم. وتعرف بطاقة مجموعة البيانات البيانات. ويشرح دليل الاسترجاع دلالات التسجيل. يصل هذا المقال هذه المصادر في تجارب محدودة وخطة تحقق إنتاجية منفصلة. ولا يدعي أصالة شاملة. وللسؤال المرتبط باختيار النموذج، راجع اختبار قبول استرجاع التضمينات.

اربط وحدات Supernova بآثار المعيار

جدول الوحدات

يصف مستودع Supernova ووثائق الوحدات المرتبطة دورة الحياة هذه. الفكرة الأساسية هي التعامل مع كل نقطة تحقق كدليل يجب الاحتفاظ به، وليس كأمر شغلته مرة واحدة ثم نسيته.

ثبت الوثائق قبل نسخ الأوامر

تعرض صفحة الوثائق الرئيسية والمستودع أجيالا مختلفة من الأوامر. اختر تثبيتا، واستخدم وثائقه، ثم افحص مساعدة CLI المثبتة. قائمة التثبيت في README الجذري لا تثبت أن nova-bf مثبت. لم يختبر هذا المقال أي أمر تنفيذي من حيث التثبيت.

يحتاج دعم الخلفيات إلى عناية أيضا. يوثق دليل التحميل سلوك استئناف خاصا ب Qdrant. ويوثق دليل الاسترجاع تقرير تعادلات خاصا ب Qdrant. دعم الاستعلام في عدة قواعد بيانات لا يعني أن كل ميزة تتصرف بالطريقة نفسها في كل مكان.

سلم وفاء المعيار: ابن أصغر تجربة صالحة أولا

سلم وفاء المعيار هو منهجية تحريرية مقترحة من Optijara، وليس معيارا راسخا. درجاته هي شريحة محدودة، ومرجع دقيق للشريحة، وأعباء عمل متطابقة، وظروف تشغيل قابلة للمقارنة، واستعلامات إنتاجية محكومة بشكل منفصل.

الصيغة الحازمة بسيطة: لا توسع تجربة سيئة. معيار صغير بهوية نظيفة أفضل من معيار كبير فيه وصلات مخفية، وحسابات مجهولة، وحالة ذاكرة مؤقتة غامضة، وتسجيل غير واضح.

حد المجموعة وحافظ على هويتها

ابدأ بقائمة ملفات غير قابلة للتغيير ومجموعة استعلامات ثابتة. لا تعتمد على ما يصادفه قارئ تدفقي أولا. سجل معرفات المصدر المحفوظة، وبذور الاختيار، والأبعاد، والتطبيع، وdtype، ومقياس المسافة، وحد القطع المطلوب، والمجزئ، وقواعد الترشيح، وسياسة التعادل.

خذ بصمات ملفات المجموعة، ومتجهات الاستعلام، والإعدادات كل على حدة. لا تثبت فحوص مجموع نصوص الاستعلام تساوي التضمينات، كما تحذر بطاقة FineWeb-10B. قد يكون للاستعلام النص نفسه ومتجه مختلف إذا تغيرت مراجعة النموذج أو المجزئ أو التطبيع أو الكود البعيد.

يغطي تحليل قابلية إعادة إنتاج OpenBind الفجوة المرتبطة بين تسمية معيارية والصلاحية في العالم الحقيقي. هنا، للبيان مهمة واحدة: جعل المجموعة التي جرى البحث فيها فعليا قابلة للاسترداد.

أعد حساب المرجع الدقيق لتلك الشريحة

لا ترشح قائمة أعلى 1000 نتيجة منشورة للمجموعة الكاملة إلى المعرفات الموجودة في شريحتك وتسمي ذلك حقيقة مرجعية دقيقة للشريحة. هذا الاختصار يفقد جيرانا صالحين داخل الشريحة لكنهم لم يظهروا في القائمة العالمية المقطوعة.

أعد حساب المرجع فوق المجموعة ومتجهات الاستعلام المختارة بدقة، باستخدام المقياس والمرشحات المختارة. احتفظ بإعدادات التوليد بجانب المرجع. ملف اسمه ground truth لا يكفي. تحتاج إلى معرفة كيف أنتجت درجاته.

طابق أعباء العمل قبل إضافة أسئلة إنتاجية

استخدم قائمة التنفيذ هذه قبل زيادة الحجم. ينبغي أن يترك كل صف أثرا قابلا للفحص.

صمم مصفوفة اختبار تفصل الاسترجاع عن الصلة والعمليات

تجارب FineWeb الكثيفة والمتفرقة والمرشحة

تحدد بطاقة FineWeb-10B متجهات كثيفة ذات معيار وحدة، وهو ما يدعم الترتيب بجيب التمام أو بالضرب النقطي المكافئ. وتحدد أيضا أوزانا متفرقة غير مطبعة تقيم بالضرب النقطي. حافظ على هذه الشروط. الترتيبات الدقيقة الكثيفة والمتفرقة المستقلة ليست حقيقة مرجعية لقاعدة دمج هجينة.

يعرف دليل القوة الغاشمة مطابقة النص كسلوك رموز كلمات بأحرف صغيرة مع AND، وليس بحثا عن عبارة. طابق التجزئة، والمنطق البولياني، وحدود التواريخ، والتعامل مع null، ودلالات العضوية. حقل اسمه keyword_phrase لا يتجاوز العملية الموثقة.

امتداد اختياري متعدد المتجهات بمجموعة مطابقة

توفر PubMed-MV تمثيلات كثيفة ومتفرقة ومتجهات رموز فوق الملخصات نفسها. استخدم تعريف MaxSim الموثق لديها في تجربة محدودة منفصلة. لا تقارن نتائجها الرئيسية مباشرة مع FineWeb ولا تقرأ وفاء الجار كصلة سريرية.

Coyo-VE عبء عمل مميز آخر. تحدد بطاقته التضمينات والتعليقات، وليس بايتات الصور. ولا تتيح لك أي من مجموعتي البيانات المصاحبتين تخطي هوية المجموعة والاستعلام والتمثيل.

ظروف تحميل واستعلام عادلة

ثبت العتاد، وإصدارات الخلفية، والتكرار، والتكميم، وإعدادات الفهرس، وفهارس المرشحات، والتزامن، ومزيج الاستعلامات. عرف بروتوكولات الذاكرة المؤقتة الباردة والدافئة صراحة. تشغيل مكرر غير محدد ليس سياسة ذاكرة مؤقتة تمثيلية.

إذا كان نموذج لغة محلي يستهلك المقاطع المسترجعة، فافصل تقييم جهازه وبيئة تشغيله عن توقيتات محرك المتجهات. يغطي اختبار واقعية نشر MiniCPM5-2B سؤال النشر المجاور هذا، وليس أداء بحث FineWeb.

يميز دليل التحميل بين الفهرسة بعد الرفع وحساب Elasticsearch للإدخال مع الفهرسة ضمن المسار نفسه. نتيجة لذلك، index_seconds وحده ليس ساعة عادلة للمقارنة بين الخلفيات. قس المسار الكامل من الإعداد إلى شرط الجاهزية نفسه للاستعلام، مع الاحتفاظ بالمراحل الخاصة بكل خلفية.

استخدم خطة قياس تجعل المقامات والإخفاقات مرئية:

لتجربة RAG مدعومة ب Claude، جمد معرف النموذج، والموجه، وترتيب المقاطع المسترجعة، وإعدادات التوليد. احفظ معرفات المقاطع وعناوين URL المصدر مع كل إجابة. حكم ما إذا كانت الاقتباسات تدعم الادعاءات وما إذا تمت الإجابة عن الاستثناء المطلوب. سجل زمن تأخير الاسترجاع والتوليد كل على حدة. صنف هذا كتجربة تطبيق، وليس كنتيجة nova-storm.

ما تخطئ فيه الفرق عند قياس استرجاع nova-storm

حد قطع خاطئ، وقوائم قصيرة، ومعاملة غير متكافئة للتعادلات

العثور على معرف مرتجع من أعلى 10 في أي موضع داخل مرجع أعلى 1000 ليس Recall@10. يقارن Recall@10 الترتيب المرتجع بحد القطع الدقيق المقابل. يقطع دليل الاسترجاع الحالي الحقيقة المرجعية الأعمق إلى top_k ويعرف الدلالات المتغيرة ب schema_version: 2. صالح التعريفات قبل دمج الآثار القديمة والحالية.

أبلغ عن استعلامات المرجع القصير بشكل منفصل عن استعلامات العمق الكامل، وحدد سياسة المقام. حافظ على حالات انعدام النتائج كاختبارات تشغيلية. متوسط موحد بلا أحجام مجموعات يخفي عبء العمل الذي جرى تقييمه فعليا.

وافصل أيضا استرجاع المعرف الدقيق عن الحدود المتسامحة مع التعادلات. مقارنة نتيجة Qdrant المعدلة للتعادلات بنتيجة خلفية أخرى دقيقة فقط تغير قاعدة التسجيل. إنها ليست مجرد فرق بين قواعد البيانات.

أخطاء الدقة والتحميل متنكرة كاختلافات بحث

يوجد تعارض منشأ غير محلول: تصف بطاقة FineWeb-10B حساب الحقيقة المرجعية ب bfloat16، بينما تقول وثائق الاسترجاع الحالية إن nova-bf لا يملك نمط حساب bf16/fp16. اطلب مراجعة وقت التوليد وبيان الحساب. لا تخترع مصالحة أو تشخص خللا في قاعدة بيانات من هذا التناقض.

ميز بين المعرفات المكررة، والنصوص المكررة، والتضمينات المكررة، والدرجات المتعادلة. تصف بطاقة FineWeb الأصلية إزالة تكرار على مستوى الزحف، وليس إزالة عالمية مضمونة لكل التكرارات.

قبل ضبط فهرس، افحص الملفات المتخطاة، وأشكال المعرفات، وهوية متجهات الاستعلام، والمقياس، والترشيح. تلاحظ بطاقة FineWeb-10B اختلاف أشكال معرفات المجموعة والمرجع. فشل وصل غير مفسر عائق سلامة بيانات، وليس فرصة لضبط ANN.

تحفظات، وحقوق الاستعلام، ومعايير إيقاف الموارد

راجع تراخيص الكود والمجموعة والاستعلام والنموذج كل على حدة

يعلن مستودع Supernova ترخيص Apache-2.0. وتحدد FineWeb الأصلية ODC-By وشروط Common Crawl إضافية. وتعلن بطاقة نموذج gte-multilingual-base ترخيص Apache-2.0 وتتضمن أمثلة تعتمد على كود بعيد. لا يمنح أي من ذلك إذنا شاملا لكل مدخل.

تحدد شروط MS MARCO من Microsoft الاستخدام البحثي غير التجاري. راجع حقوق الاستعلام قبل اعتماد عبء العمل المنشور. الاستعلامات الطرفية الأولى المسموح بها بشكل مناسب تنشئ تجربة موسومة بشكل منفصل، لا معيارا رسميا غير متغير. وتحتاج مجموعات البيانات المصاحبة إلى مراجعة حقوقها الأصلية الخاصة.

ثبت النموذج والمجزئ والكود البعيد. ملاحظة مراجعة مستودع حالية لا تثبت أي مراجعة ولدت الآثار المنشورة. يحد نقص منشأ التوليد من ادعاءات قابلية الإعادة حتى عندما تكون الملفات قابلة للتنزيل علنا.

توقف قبل أن تصبح عينة غير صالحة تشغيلا مكلفا

ضع حدودا خاصة بالمشروع للإنفاق، والوقت المنقضي، والبايتات المنزلة، والقرص، وRAM المضيف، وذاكرة GPU قبل التنفيذ. توقف عند حد، أو فشل تحميل مستمر، أو فشل وصل معرفات، أو سلوك ترشيح متباعد، أو عدم تطابق مرجعي غير مفسر. احفظ سبب التوقف. لا تصغر عبء العمل بصمت وتحتفظ بالتسمية الأصلية.

لا تستطيع شريحة ذاكرة مؤقتة دافئة إثبات تكلفة المجموعة الكاملة أو زمن التأخير الطرفي. يجب أن تتضمن التقييمات اللاحقة جهد التنفيذ، والنقل، وبناء الفهرس، وتباين المزود والعتاد، وحالة الذاكرة المؤقتة أو قدمها، وجودة التقييم، والعمليات المستمرة. قلل بيانات الاستعلام الخاصة وأبقها خارج الآثار العامة.

انشر سجل قابلية إعادة إنتاج، لا فائزا

ملخص مدمج قابل للقراءة آليا

يصف هذا الملخص التجربة المقترحة. الملاحظات الفارغة مقصودة: لم ينفذ أي معيار أو قياس تكلفة.

{
  "framework": "Benchmark Fidelity Ladder",
  "scope": "proposed_bounded_experiment",
  "fullCorpusRun": false,
  "benchmarkExecuted": false,
  "recomputeGroundTruthForShard": true,
  "neighborRecallIsHumanRelevance": false,
  "humanRelevanceIsAnswerCorrectness": false,
  "observedRecall": null,
  "observedP95Ms": null,
  "observedCost": null
}

سلم البيان غير القابل للتغيير، والإعدادات ذات الإصدارات، ومطابقة التحميل، وطوابع الجاهزية، وآثار الطلبات معا. ادرج دلالات الاسترجاع، وتشخيصات التعادل، ومجموعات الاستعلام، وتوزيعات زمن التأخير، والإخفاقات، وحساب الموارد، والأحكام البشرية المنفصلة.

ما الذي يجب اختباره لاحقا

أولا، أنشئ مرجعا محدودا موثوقا. ثم قارن ظروف التشغيل المتطابقة. بعد ذلك، اسأل ما إذا كانت استعلامات الإنتاج المسموح بها تسترجع أدلة مفيدة وما إذا كانت الإجابات اللاحقة تستخدم تلك الأدلة بشكل صحيح. عينة صالحة تبرر التجربة التالية. لكنها لا تبرر ادعاء أداء للمجموعة الكاملة.