MarkTechPost در ۵ اکتبر ۲۰۲۶ یک آموزش فنی منتشر کرد که در آن یک خط‌لوله‌ی کامل یادگیری رباتیک روی دیتاست NVIDIA Cosmos3-DROID ساخته می‌شود، بدون آنکه دیتاست ۷۰۷ گیگابایتی به‌طور کامل دانلود شود. این دیتاست روی Hugging Face با شناسه‌ی nvidia/Cosmos3-DROID در دسترس است و از ساختار LeRobotDataset نسخه ۳.۰ استفاده می‌کند.

هسته‌ی این آموزش، دسترسی بایت‌رنج (byte-range) روی فایل‌های Parquet از طریق HTTP است. به‌جای دانلود کل شارد، فقط ردیف‌ها و ستون‌های موردنیاز با PyArrow خوانده می‌شوند. ویدیوها نیز با فرمت AV1 و نرخ ۱۵ فریم بر ثانیه ذخیره شده‌اند و فقط پنجره‌های موردنیاز با روش seek در PyAV/FFmpeg رمزگشایی می‌شوند.

مراحل آموزش به این ترتیب است:

  • بررسی ساختار مخزن و شناسایی شاردها (داده، ویدیو، متادیتا)
  • ساخت گراف متادیتا از info.json، جدول وظایف، جدول اپیزودها و آمار دیتاست
  • تبدیل اپیزودهای تکی به مسیرهای state-action و تحلیل حرکت مفاصل، رویدادهای گریپر، مسیرهای Cartesian و طیف فرکانس اکشن
  • نرمال‌سازی مشاهدات و اکشن‌ها با آمار دیتاست
  • ساخت دیتاست PyTorch به سبک ACT (Action Chunking with Transformers) با شرط‌بندی بصری اختیاری
  • آموزش یک سیاست behavior-cloning چندوجهی
  • ارزیابی با rollout حلقه‌باز، اکشن‌چانک‌های ensemble شده در زمان، و گزارش MSE و R² هر مفصل در مقایسه با مبنا میانگین اکشن

پارامترهای آموزشی نمونه در کد: ۴۸ اپیزود، افق پیش‌بینی ۸ گام، ۱۲ دوره (epoch)، اندازه‌ی دسته ۲۵۶، شرط‌بندی بصری با ۶ اپیزود و اندازه‌ی تصویر ۹۶ پیکسل. خروجی نهایی یک checkpoint کامل سیاست است که برای استفاده‌های بعدی ذخیره می‌شود.

این خبر برای سازندگان ایجنت رباتیک یعنی چه#

مهم‌ترین نکته‌ی عملی این آموزش، الگوی «خواندن انتخابی از دیتاست‌های بزرگ» است. اگر کسی می‌خواهد روی داده‌های رباتیک روی Hugging Face کار کند، این روش نشان می‌دهد که می‌توان بدون نیاز به فضای ذخیره‌سازی محلی و بدون دانلود کامل، مستقیماً روی زیرمجموعه‌ای از ردیف‌ها و ستون‌ها کار کرد. این الگو برای محیط‌های با محدودیت پهنای باند یا GPU‌های ابری با دیسک کوچک کاربردی است.

اما باید احتیاط کرد: این یک آموزش است، نه یک ابزار آماده. کد به‌صورت notebook نوشته شده و برای محیط Colab تنظیم شده است. برای استفاده در خط‌لوله‌های تولیدی، بخش‌های مربوط به مدیریت خطا، هم‌زمانی و کش‌کردن باید اضافه شوند. همچنین، این آموزش یک سیاست behavior-cloning ساده می‌سازد و ادعای رقابت با روش‌های پیشرفته‌تر مثل diffusion policy را ندارد.

منبع: MarkTechPost