بلک فارست لبز (Black Forest Labs) مدل FLUX 3 Action را منتشر کرد؛ یک مدل کنترلی رباتیک با وزن‌های باز و ۷ میلیارد پارامتر. این مدل که از نوع World Action Model است، با دریافت فریم‌های دوربین، وضعیت فعلی ربات و یک دستور متنی، همزمان فریم‌های ویدیویی آینده و دسته بعدی از دستورات حرکتی را پیش‌بینی می‌کند. در رتبه‌بندی RoboLab-120، این مدل با نرخ موفقیت ۴۲.۹۲ درصد در صدر ایستاده است.

در مقایسه با مدل Cosmos 3 Nano که با ۱۶ میلیارد پارامتر رتبه دوم را دارد، مدل جدید با ۵۶ درصد پارامترهای کمتر، ۶.۱ درصد امتیاز بالاتری کسب کرده است. بلک فارست لبز برای رسیدن به این نتیجه، از یک بدنه کوچک‌تر و تکنیک تقطیر (distillation) استفاده کرده تا سرعت پردازش را افزایش دهد. در شرایط FP8، این مدل تا ۳.۹۵ برابر سریع‌تر از رقیب اصلی خود اجرا می‌شود.

این مدل در سه نسخه ارائه شده که هر کدام تعادل متفاوتی بین سرعت و دقت برقرار می‌کنند:

  • نسخه Base: با ۴ مرحله نمونه‌برداری اجرا می‌شود.
  • نسخه Guidance-distilled: سرعت ۱.۸ تا ۲ برابر بیشتر و دقت ۰.۶ تا ۱.۰۸ درصد بالاتر نسبت به نسخه پایه.
  • نسخه Step-distilled: سرعت ۳.۱۵ تا ۴ برابر بیشتر، اما با افت دقت ۳.۵۱ تا ۴.۳۲ درصد.

در اجرای واقعی روی سخت‌افزار، شرکت Positronic Robotics در ارزیابی‌ای کور روی بازوی Franka، موفقیت ۹۳.۳ درصدی این مدل را در ۱۰ وظیفه ثبت کرد. برای اجرای نسخه DROID روی کارت گرافیک H200 در دقت BF16 به حدود ۳۲ گیگابایت حافظه نیاز است که با کوانتیزاسیون FP8 روی کارت‌های ۲۴ گیگابایتی هم قابل اجراست.

خوانش تحریریه: چه چیزی برای توسعه‌دهندگان رباتیک تغییر می‌کند؟#

انتشار FLUX 3 Action با وزن‌های باز، یک شکست در مهندسی رباتیک محسوب می‌شود: نشان می‌دهد که مدل‌های پیش‌بینی ویدیو (WAM) لزوماً نباید کند یا سنگین باشند. اگر از قبل از مدل‌هایی مانند Cosmos برای محیط‌های شبیه‌سازی استفاده می‌کردید، نسخه جدید با حجم حافظه کمتر و سرعت بالاتر، امکان اجرای نرم‌تر روی سخت‌افزارهای معمولی‌تر را می‌دهد. با این حال، توجه به محدودیت‌های فنی حیاتی است؛ مدل هیچ‌گونه محدودیت سرعت، نیرو یا فضای کاری داخلی ندارد و تمام این کنترل‌ها باید در سطح اپلیکیشن و توسط خود توسعه‌دهنده اعمال شود.

منبع: MarkTechPost