تیم Qwen علی‌بابا چارچوب QwenGyre را معرفی کرد: یک سیستم reinforcement learning آنلاین که ایجنت‌های کدنویس را از طریق harnessهای جعبه‌سیاه (بدون تغییر در کد ایجنت) آموزش می‌دهد. هدف این چارچوب رول‌اوت‌هایی است که ساعت‌ها طول می‌کشند و نزدیک به ۱ میلیون توکن پردازش می‌کنند.

مشکل و دو ایدهٔ اصلی#

در وظایف XLong-horizon — مثل تولید کامل یک ریپازیتوری از یک spec — دو مشکل اصلی وجود دارد: اول، rolloutها دم‌بلند دارند؛ در روش Colocate، GPUها منتظر کندترین اجرا بیکار می‌مانند. دوم، harnessهایی مثل Claude Code context را compact می‌کنند، sub-agent تولید می‌کنند و retry می‌دهند؛ یک اجرا به درختی از شاخه‌ها تبدیل می‌شود که هزینهٔ تمرین را تورم می‌دهد.

QwenGyre دو راه‌حل ارائه می‌دهد: GPUهای بیکار را بین فاز rollout و training جابه‌جا می‌کند، و تاریخچه‌های شاخه‌دار را به حداکثر ۵ trajectory محدود می‌کند.

مکانیزم‌های فنی#

GPUها به سلول‌هایی تقسیم می‌شوند که layout تمرینی مشترک دارند. یک core cell وزن‌ها و state بهینه‌ساز را نگه می‌دارد و satellite cellها بعداً به batch می‌پیوندند. بلاک‌های KV-cache روی RDMA مهاجرت می‌کنند و وزن‌ها از طریق Mooncake Transfer Engine منتقل می‌شوند. میانگین زمان جابه‌جایی نقش: ۸٫۵۲ ثانیه (rollout به training) و ۳٫۴۶ ثانیه (training به rollout).

نتایج عددی#

تمام اجراها با harness Claude Code 2.1.220 و بودجهٔ GPU یکسان انجام شدند:

  • روی Qwen 3.6 122B: سرعت‌بخشی ۱٫۳۸ تا ۱٫۷۸ برابر نسبت به Async و ۱٫۲۱ تا ۱٫۸۵ برابر نسبت به Colocate.
  • روی Qwen 3.8 2.4T (۱۹۲ نود، ۴ سلول ۴۸تایی): ۴۸ مرحله در ۷۵٫۴۲ ساعت (Async: ۱۳۴٫۵۵ ساعت، Colocate: ۹۱٫۴۷ ساعت). نرخ قبولی NL2RepoBench از ۵۲٫۴۸٪ به ۵۸٫۵۴٪ رسید.
  • سقف ۵ trajectory در برابر بدون سقف، امتیاز تمرین یکسان داد ولی زمان forward-backward را ۲۵٫۲٪ کاهش داد.

نکتهٔ مهم: لینک عمومی برای کد منتشر نشده و لایسنس مشخص نیست.

مقایسه با رقبا#

  • veRL (ByteDance Seed): کد عمومی دارد، Apache-2.0، بزرگ‌ترین مقیاس اعلامی ۶۷۱B.
  • AReaL (Tsinghua IIIS + Ant Group): کد عمومی دارد، Apache-2.0، ۲٫۷۷ برابر سرعت‌بخشی نسبت به synchronous (نسخهٔ ۰٫۳).
  • Agent Lightning (Microsoft): کد عمومی دارد، MIT.

سرعت‌بخشی‌ها از setup خود هر پروژه‌اند و مستقیماً قابل مقایسه نیستند.

خوانش تحریریه: برای کسی که همین حالا ایجنت می‌سازد چه فرقی می‌کند؟#

QwenGyre یک چارچوب training است، نه یک مدل. اگر شما ایجنتی می‌سازید که با harnessهای آماده (Claude Code، Cursor و…) کار می‌کند و به دنبال RL از صفر نیستید، این خبر عملاً چیزی در مسیر کاری‌تان عوض نمی‌کند. ارزش اصلی آن برای تیم‌هایی است که خوشهٔ GPU چند-نودی دارند و می‌خواهند ایجنت‌های کدنویس خودشان را با RL آنلاین آموزش بدهند.

آنچه واقعاً جالب است، رویکرد «جعبه‌سیاه» است: شما کد harness را تغییر نمی‌دهید و فقط یک proxy اضافه می‌کنید. این یعنی اگر روزی کد منتشر شود، برای تیم‌های متوسط‌تر هم قابل استفاده خواهد بود. اما فعلاً نه کد عمومی هست، نه لایسنس مشخص — و این یعنی در عمل نمی‌توانید چیزی با آن بسازید.

احتیاط: اعداد سرعت‌بخشی در شرایط کنترل‌شده و با بودجهٔ GPU یکسان به دست آمده‌اند. روی مدل ۲٫۴ تریلیون پارامتری، سرعت‌بخشی نسبت به Colocate فقط ۱٫۲۱ برابر بود چون بسیاری از queryها نزدیک timeout اجرا شدند. یعنی هرچه مدل بزرگ‌تر و rollout سنگین‌تر، مزیت الاستیک کمتر.

منبع: MarkTechPost