Perplexity و تیم NVIDIA روش JOLT (Joint On-policy Learning and Teaching) را برای آموزش پسین مدل‌های زبانی معرفی کردند. JOLT یک مدل مشترک را در دو نقش هم‌زمان آموزش می‌دهد: معلم که به اطلاعات ممتاز دسترسی دارد و شاگرد که فقط تکلیف را می‌بیند. تفاوت اصلی با روش‌های قبلی این است که معلم هم آموزش می‌بیند و بازخوردش در طول تمرین بی‌اعتبار نمی‌شود.

چرا معلمِ ثابت مشکل‌ساز است؟#

روش‌های مبتنی بر پاداش نتیجه مانند GRPO فقط یک پاداش برای کل پاسخ می‌دهند و نمی‌گویند کدام توکن‌ها کمک‌کننده بوده‌اند. On-Policy Distillation با داشتن معلمی قوی‌تر که هر توکن را امتیاز می‌دهد این مشکل را حل می‌کند، اما OPSD معلم جداگانه را حذف می‌کند و همان مدل را با زمینه ممتاز به معلم تبدیل می‌کند. تیم پژوهشی نشان می‌دهد که معلمِ OPSD میان‌بُرهایی می‌گیرد که شاگرد نمی‌تواند دنبال کند و اختلاف معلم و شاگرد در طول آموزش روی MATH بزرگ‌تر می‌شود.

عملکرد در پنج سناریو#

JOLT روی Qwen3-0.6B، Qwen3-4B-Instruct، Qwen3-8B، Qwen3-30B-A3B-Instruct و DeepSeek-V2-Lite آزمایش شده است. نتایج کلیدی:

  • MATH (Qwen3-0.6B): JOLT+ ۷۲.۵۹٪ در برابر GRPO ۶۸.۳۶٪
  • AppWorld (Qwen3-4B-Instruct): JOLT+ ۷۲.۰۹٪ در برابر GRPO ۶۲.۲۰٪ (۹.۹ واحد بیشتر)
  • Terminal-Bench 2.1 (Qwen3-30B-A3B-Instruct): JOLT+ ۱۰.۹۶٪ pass@1 در برابر GRPO ۸.۲۵٪
  • GSM8K (DeepSeek-V2-Lite): JOLT+ ۱.۵ واحد بیشتر از GRPO

نکته مهم: JOLT ساده (بدون پاداش شاگرد) روی AppWorld با ۵۱.۹۲٪ از GRPO عقب می‌ماند. یعنی افزودن پاداش نتیجه به شاگرد (نسخه JOLT+) تعیین‌کننده است.

میزان صرفه‌جویی محاسباتی#

روی MATH، برای رسیدن به دقت ۶۳.۴۴٪، GRPO به ۸.۴۰ میلیون توکن پردازش‌شده نیاز داشت و JOLT به ۱.۳۰ میلیون — کاهش ۶.۵ برابری. اگر فقط توکن‌های تکمیل شمرده شوند، فاصله به حدود ۱۳ برابر می‌رسد. در بازه دقت ۵۵٪ تا ۶۵٪، صرفه‌جویی بین ۴.۳ تا ۷.۴ برابر متغیر است.

این خبر برای تیم‌های ایجنت‌سازی یعنی چه#

JOLT یک روش آموزش پسین است، نه یک مدل یا محصول آماده. کد هنوز منتشر نشده و سخت‌افزار آموزش فاش نشده. برای تیم‌هایی که همین حالا با GRPO آموزش تقویتی انجام می‌دهند، صرفه‌جویی ۶.۵ برابری در توکن‌های پردازش‌شده یعنی هزینه GPU کمتر در ازای همان دقت — اما فقط اگر روش را پیاده کنند. بیشترین جهش عملکرد روی وظایف عامل‌محور (AppWorld) دیده می‌شود، نه روی حل ریاضی ساده. این یعنی اگر کار اصلی‌تان ایجنت‌هایی با چرخه‌های طولانی است، JOLT+ جذاب‌تر از سناریوهای تک‌گامی است. در مقابل، نسخه ساده JOLT روی همان AppWorld از GRPO ضعیف‌تر عمل می‌کند؛ پس انتخاب نسخه و تنظیم پاداش شاگرد، نه صرفاً خودِ روش، تعیین‌کننده است.

منبع: MarkTechPost