تكامل LeRobot SONIC مع الروبوتات البشرية: رموز الحركة ليست مفاصل محركات

ما الذي يضيفه تكامل LeRobot للروبوتات البشرية فعليا

تكامل LeRobot SONIC للروبوتات البشرية مهم لأنه لا يطلب من سياسة المهام قيادة كل محرك في Unitree G1 مباشرة. هذا توجه صحيح. يمكن لسياسة روبوت بشري أن تتنبأ بتمثيل حركة مدمج، بينما يتولى متحكم محلي حركة الجسم بالكامل ويوفر أهداف المفاصل للتتبع منخفض المستوى. هذا الفصل لا يثبت اتزانا آمنا في إعداد غير مختبر.

بالنسبة إلى نقطة تحقق وضع العلبة، تتنبأ سياسة المهام ب64 قيمة لرموز الحركة إضافة إلى حقلين للماسك. هذه القيم ال64 ليست أوامر ل64 مفصلا. إنها إحداثيات كامنة. يجمع مفكك ترميز على متن الروبوت ذلك الرمز مع تاريخ حديث لحالة الروبوت، ثم ينتج أهداف مفاصل لحلقة التحكم التناسبي التفاضلي الخاصة بالروبوت.

هذا الفصل هو جوهر الفكرة. وهو أيضا الموضع الذي قد يخطئ فيه التكامل غير الحذر.

ملاحظة تكامل مفيدة وليست معيارا جديدا

تشرح مقالة تكامل LeRobot للروبوتات البشرية المنشورة في 25 سبتمبر كيف تجتمع التشغيل عن بعد، وتعلم السياسات، والتحكم في Unitree G1. كانت نقطة تحقق وضع العلبة ومجموعة البيانات من عناصر أغسطس بالفعل، لذلك لا ينبغي قراءة الإعلان على أنه إصدار نموذج جديد بأوزان جديدة. الجزء المفيد هو مخطط التوصيل، وخصوصا الطريقة التي يكشف بها الحد الفاصل بين خرج السياسة والتحكم الحركي على متن الروبوت.

السؤال العملي الأول هو التوافق

يصف الإصدار مسار عمل. تصف وثائق المتحكم النشر. تصف نقطة التحقق سياسة مدربة. قراءة الثلاثة معا تطرح سؤالا بسيطا: هل يوفر وقت التشغيل الملاحظات التي تدربت نقطة التحقق على استخدامها؟

لا يزال هذا السؤال غير محسوم. تتوقع سياسة العلبة 31 قيمة حالة. يعرض متحكم SONIC الموثق 64 قيمة صدى للرمز. الأبعاد المشتركة للأفعال لا تحسم المسألة.

هذا منفصل عن تسليم التخزين الذي تناولناه في تحليل تكامل LeRobot LanceDB. مجموعة بيانات قابلة للقراءة ونقطة تحقق قابلة للتحميل مفيدتان، لكنهما لا تثبتان أن وقت تشغيل روبوت حي يغذي تمثيل الحالة نفسه الذي تعلمت منه السياسة.

لماذا ليست سياسة المهام هي متحكم التوازن

الرمز ليس قائمة محركات

يصف الإصدار تمثيل SONIC كامنا ب64 بعدا. تضيف نقطة تحقق العلبة حقلين للماسك. ترمز تلك الإحداثيات إلى نية الحركة. إنها ليست مواضع مفاصل، ولا أهداف عزم، ولا قائمة مباشرة بأوامر المشغلات.

تصف وثائق G1 أن SonicWholeBodyController يفك ترميز رمز مع حس حركي داخلي حديث إلى فعل متبق. يجري قياس ذلك المتبقي وإضافته إلى زوايا الوقوف الافتراضية، مما ينتج أهدافا ل29 مفصلا. بعد ذلك يتتبع تحكم PD في الروبوت تلك الأهداف.

يحمل مفكك الترميز أوزان ONNX وثوابت النشر من lerobot/sonic_decoder. يقرأ التنفيذ المثبت معاملات PD، والزوايا الافتراضية، ومقياس الفعل، ورمزا حياديا من بيانات ONNX الوصفية. كما يفصل ترتيب مفاصل IsaacLab عن ترتيب نشر MuJoCo. هذه الخرائط ليست عملا دفترية. إنها جزء من عقد الحركة.

لرؤية أوسع لافتراضات العتاد والمتحكم، يقدم تحليل BRIDGE لتشارك تصميم بنية الروبوت والتحكم سياقا مفيدا. لكنه لا يثبت أن BRIDGE وSONIC يشتركان في واجهة واحدة.

لا ينبغي للاستدلال البعيد أن يملك الحلقة المحلية

بالنسبة إلى النشر الفيزيائي، تصف الوثائق policy_server على جانب GPU، وrobot_client على متن الروبوت يشغل متحكم SONIC على Jetson الخاص بG1، وجسر run_g1_server. تنتقل حزم الرموز عبر الشبكة. صمم المتحكم الموجود على متن الروبوت لتشغيل حلقته الموثقة بتردد 50 Hz باستخدام الحس الحركي الداخلي المحلي، ويجب قياس الالتزام الفعلي بالمواعيد النهائية.

هذا المخطط خريطة مفاهيمية للواجهة، وليس نشرا متحققا منه. ترك معالج الملاحظات غير محسوم عمدا. ينبغي ألا تحتاج دورة التغذية الراجعة المحلية إلى نتيجة استدلال GPU جديدة عند كل نبضة متحكم. يمكن للتخزين المؤقت أن يقلل الاعتماد على كمون الشبكة البعيد، لكنه لا يثبت اتزانا آمنا أو سلوكا مفيدا بعد فقدان الشبكة.

الوضع غير المتزامن وRTC الموجه مفتاحان مختلفان

يحدد النشر غير المتزامن أين يعمل الاستدلال وكيف تصل حزم الأفعال إلى الروبوت. أما التقسيم الموجه في الزمن الحقيقي، أو RTC، فيعالج التنبؤ عبر حدود حزم الأفعال. توصي بطاقة نقطة تحقق العلبة بRTC الموجه، بينما تقول أيضا إن نقطة التحقق هذه لم تدرب من أجل RTC المدرب أو piR2.

لا تدمج هذه الأفكار في ادعاء واحد. أخذ عينات مجموعة البيانات عند 50 fps، وحزمة من 50 فعلا، وإيقاع النشر، ومتحكم بتردد 50 Hz كميات منفصلة. يمكن أن تكون الأرقام المتطابقة قرينة. لكنها ليست دليلا على أن الساعات متطابقة في نظام حي.

خريطة واجهة الرمز إلى الحركة

ابدأ بالدلالات، ثم افحص الأشكال

تعلن تهيئة نقطة التحقق أن observation.state لها الشكل [31] وأن action له الشكل [66]. تسمي مخطط مجموعة البيانات حقول الحالة: 29 موضع مفصل، ثم قيمتي الماسك الأيسر والأيمن. وحقول الفعل فيها هي motion_token_0 حتى motion_token_63، تليها الماسكات.

في المقابل، يقول الجزء 5 من وثائق G1 الحالية على الفرع الرئيسي إن SonicWholeBodyController يعيد حالة ملاحظة لصدى الرمز ب64 بعدا. تؤكد دالة observation_state() في التنفيذ المثبت أنها تعرض آخر رمز مفكك، لا متجه المفاصل والماسكات المقاس الذي تتوقعه نقطة التحقق.

هذه هي فجوة التكامل الرئيسية. لم يثبت التوافق المباشر. يحتاج الفريق إلى حل معالج الملاحظات، وخريطة الحالة الفيزيائية، والتطبيع، ومراجعة الكود قبل وصل هذه العناصر. إضافة حشو إلى متجه مفاصل أو قص متجه كامن تجعل الموتر ينجح في فحص الشكل فقط. لكنها لا تجعل القيم تعني الشيء نفسه.

تسمي بطاقة النموذج أيضا الفعل بأنه "64 joints + 2 grippers." وهذا يتعارض مع حقول التهيئة المسماة، ومخطط مجموعة البيانات، وشرح الإصدار. في هذه الواجهة، تحمل العناصر المكتوبة نوعيا وزنا أكبر من صياغة الجدول.

مصفوفة التوافق لمسار الحركة الكامل

خريطة واجهة الرمز إلى الحركة أدناه تركيب تحريري للعناصر التي تم فحصها. ليست معيارا، وليست وصفة نشر اختبرتها Optijara. وظيفتها جعل الأدلة الناقصة مرئية قبل أن يختار أي طرف وقت تشغيل.

تسجل بطاقة نقطة التحقق كود LeRobot 8bf6056d1. مصدر المتحكم المفحوص هنا مثبت عند e595b7902714ba51f91e47523f66f89c5181b649. تتطلب الوثائق الحالية على الفرع الرئيسي تثبيتا من المصدر وتميز الإصدار المستقر v0.6.1. أمثلة SONIC فيها تستخدم nepyope/sonic_walk، وليس نقطة تحقق العلبة. تعامل معها كمراجع ذات صلة، لا كتعليمات قابلة للتبادل.

{
  "contract": {
    "checkpoint_state": "29 joint positions plus 2 grippers",
    "checkpoint_action": "64 SONIC coordinates plus 2 grippers",
    "documented_controller_state": "64-value token echo"
  },
  "proposedchecks": ["Resolve observation processor", "Verify names and normalization", "Pin compatible runtime revisions"],
  "limitations": ["Drop-in compatibility unresolved", "No inference, simulation or hardware tests performed for this article"]
}

ما الذي تظهره نقطة تحقق العلبة، وما الذي لا تظهره

اقرأ المهمة والكاميرات والتوقيت كعقد

تصف بطاقة مجموعة بيانات can_clean_final 105 حلقات و212,290 إطارا عند 50 fps. تدفقات الكاميرا الثلاثة بدقة 480 في 640 هي ego_view وleft_wrist وright_wrist. المهمة الوحيدة هي Bring the can to the white table. تحدد هذه التفاصيل عقد دخل نقطة التحقق. لكنها لا تثبت الأداء في غرفة أخرى، أو مع تركيب كاميرا آخر، أو تحت تعليمة مهمة مختلفة.

توثق مجموعة البيانات action[t] على أنه الأمر الذي ينتج observation.state[t+1]. حافظ على هذه العلاقة عند بناء أمثلة إعادة التشغيل. لا ينبغي لحالة بالمؤشر نفسه أن تصبح بهدوء النتيجة المنسوبة إلى الفعل.

تذكر البطاقة أيضا أن observation.state[29] وaction[64]، وهما حقلا الماسك الأيسر، يساويان صفرا دائما. عمليا، كانت التسجيلات بيد واحدة. وجود حقلي خرج للماسك لا يقدم دليلا على مهارة ثنائية اليدين.

يحتاج التطبيع إلى العناية نفسها. تحدد التهيئة تطبيع الكوانتايل للحالة والفعل. تقول بطاقة مجموعة البيانات إن حدود كوانتايل الماسك الأيسر ضبطت يدويا لتجنب القسمة على صفر. يجب أن تحافظ هجرة المعالج على هذا التعامل بدلا من قراءة سلوك مفيد لليد اليسرى داخل نطاق رقمي صالح.

الخسارة ليست ادعاء نجاح مهمة

تمت مراجعة مجموعة البيانات وإزالة حالات الفشل. تذكر بطاقة نقطة التحقق خسارة تدريب نهائية قدرها 0.025، وبصراحة من دون تقسيم احتجاز. هذه بيانات وصفية مفيدة عن التدريب. لكنها ليست نجاحا ذاتيا في المهمة، وليست دليلا على التعميم.

القراءة العادلة أضيق: توثق هذه العناصر إعداد تدريب واحدا وتكشف قيودا يجب أن يحترمها تقييم متوافق. تحتاج ادعاءات القدرة إلى دليل مغلق الحلقة منفصل. خصص وقتا صريحا لفحص افتراضات الواجهة وتقييم السلوك، بدلا من التعامل مع توفر العناصر كدليل على التوافق.

مسار اعتماد يبدأ بالمحاكاة لحزمة حركة G1

المرحلة 1: التوفيق بين العقد دون اتصال

كل فحص أدناه مقترح. لم تجر Optijara استدلالا أو محاكاة أو تدريبا أو اختبارات روبوت فيزيائي لهذه المقالة.

ابدأ بفحص العناصر. ثبت المراجعات. قارن أسماء الحالات والوحدات. أكد ترتيب المفاصل. تتبع الماسكين كل على حدة. قارن هويات الكاميرا والمعالجة المسبقة مع نقطة التحقق، لا أبعاد الصورة فقط. افحص تطبيع الحالة والفعل وثوابت مفكك الترميز. تعامل مع خريطة الملاحظات غير المحسومة 31 مقابل 64 كشرط توقف.

هذا أيضا موضع فحص المحاذاة الزمنية. مسار إعادة تشغيل يوفر الحقول الصحيحة من خطوة زمنية خاطئة لم يعد إنتاج واجهة التدريب. سجل قرارات المعالج حتى يستطيع مهندس آخر تمييز التحويلات المتعمدة من الإكراهات العرضية.

المرحلة 2: افصل توقيت السياسة عن توقيت المتحكم

بعد حل الأدوات والخرائط المتوافقة، شغل إعادة تشغيل دون اتصال أو محاكاة لتفسير الرمز إلى الهدف قبل الحكم على سلوك المهمة المتعلم. تقدم الوثائق أمثلة محاكاة، لكن ذلك لا يثبت أن محاكيا غير معدل يعيد إنتاج حزمة سياسة العلبة هذه بالضبط.

حدد عتبات القبول للإعداد المقصود قبل الاختبار. لا تقدم هذه المقالة إعدادات أمان افتراضية عامة. سجل إيقاع النشر واستهلاك الطابور إلى جانب كمون الاستدلال؛ فقد يخفي متوسط جيد انقطاعات. لمناقشة مكملة عن الدليل السلوكي، راجع خريطة تقييم الروبوتات من الفيديو إلى المهمة.

المرحلة 3: قرر إن كان تحضير العتاد مبررا

اعتمد فحص الواجهة الآن. لا تنقل المعالجات إلا بعد حسم معانيها. لا تزرع أمرا من بطاقة نقطة تحقق في كود العتاد الحالي على الفرع الرئيسي فقط لأن كليهما يذكر Unitree G1.

قبل أي تجربة فيزيائية، اشترط إجراءات السلامة الخاصة بالشركة المصنعة، ومنطقة اختبار مضبوطة، وزر إيقاف طارئ يعمل. راجع سلوك الطابور القديم وفقدان الشبكة بوضوح. هذه المقالة لا تثبت مراقبا افتراضيا ولا توصي باختبار دخان متزامن على العتاد.

أخطاء شائعة وحدود يجب إبقاؤها مرئية

أخطاء تجعل الواجهة تبدو أكثر أمانا مما هي عليه

• التعامل مع الإحداثيات الكامنة كمفاصل محركات يتجاوز دور مفكك الترميز. تتبع فك ترميز الرموز وتحويل ترتيب المفاصل.
• مطابقة أبعاد الفعل مع تجاهل معنى الملاحظة تترك دخل السياسة غير محسوم. افحص جانبي العقد.
• تسمية 50 Hz سرعة السياسة تخلط التحكم المحلي بإنتاجية الاستدلال. قسهما منفصلين.
• استنتاج مهارة ثنائية اليدين من حقلي خرج يتجاهل الماسك الأيسر غير النشط في التسجيل.
• التعامل مع RTC الموجه كنشر غير متزامن آمن يخلط تنبؤ الحزم بموضع وقت التشغيل والتعامل مع الفشل.

الترخيص والسلامة ومقايضات التشغيل

تعرض قائمة ملفات مفكك ترميز SONIC التي تم فحصها عناصر مفكك الترميز، لكن من دون بطاقة نموذج أو ملف ترخيص ظاهر. هذا الغياب ليس استنتاجا قانونيا. راجع شروط النموذج الأساسي، ومفكك الترميز، وبرمجيات المتحكم، ومجموعة البيانات، والعتاد كل على حدة؛ فترخيص مكتبة أو مجموعة بيانات لا يمنح الإذن لكل مكون.

انحراف الفرع الرئيسي ومعالجات حقبة نقطة التحقق يعقدان قابلية إعادة الإنتاج. كما تحتاج مواضع الكاميرات، واصطلاحات الحس الحركي الداخلي، واختلافات تنفيذ GPU إلى مراجعة. إذا غادرت ملاحظات الكاميرا الروبوت من أجل استدلال بعيد، قيم ضوابط الوصول والخصوصية لبيئة التشغيل.

خصص ميزانية لعمل التكامل والتقييم من دون افتراض الجاهزية للإنتاج. القرار الفوري هو ما إذا كان الفريق يستطيع تأسيس عقد متسق من الملاحظة إلى الرمز إلى الحركة، مع إبقاء الافتراضات غير المحسومة مرئية قبل بدء تحضير العتاد.