MarkTechPost راهنمای مقایسه‌ای از هفت راهبرد مسیریابی (Routing) در مدل‌های Mixture-of-Experts منتشر کرده است. بر اساس این راهنما، سگموئید با بایاسِ بدون‌تلف (aux-loss-free bias) به دستور غالب مدل‌های باز پیشرو در ۲۰۲۶ تبدیل شده است.

در مدل‌های MoE، مسیریاب (Router) برای هر توکن تصمیم می‌گیرد کدام متخصص‌ها (Experts) آن را پردازش کنند. راهنما مقیاس این تصمیم را از ۸ متخصص (Mixtral) تا ۳۸۴ متخصص (DeepSeek-V4-Pro) گزارش می‌کند که به‌ازای هر توکن بین ۱ تا ۸ متخصص فعال می‌شوند. Mixtral 8x7B مثلاً به ۴۷B پارامتر دسترسی دارد اما در هر لحظه فقط ۱۳B پارامتر فعال است.

هفت راهبرد و مدل‌های کاربر#

  • Softmax top-k: Mixtral ۲ از ۸، gpt-oss-120b ۴ از ۱۲۸، Qwen3-235B-A22B ۸ از ۱۲۸ متخصص را انتخاب می‌کند. معمولاً با یک تلف کمکی (auxiliary loss) بار را متعادل نگه می‌دارد.
  • Top-1 Switch: Switch Transformer و Llama 4 Maverick هر توکن را به ۱ متخصص روتینگ می‌دهند. توکن‌های سرریز از طریق اتصال باقیمانده (residual) رد می‌شوند.
  • مشترک + روتینگ‌شده: DeepSeek-V3 از ۱ متخصص مشترک و ۲۵۶ متخصص روتینگ‌شده استفاده می‌کند و ۸ تا فعال می‌شود. Kimi K2، GLM-4.5 و Qwen3.6-35B-A3B همین الگو را دارند. Qwen3 برخلاف این مسیر، متخصص مشترک را حذف کرد.
  • Sigmoid + بایاس: DeepSeek-V3 به‌جای softmax از sigmoid امتیازدهی می‌کند و بایاس هر متخصص را بر اساس بار تنظیم می‌کند. DeepSeek-V4 امتیازدهی را به sqrtsoftplus تغییر داده اما بایاس را نگه داشته.
  • محدودسازی گروهی/نود: DeepSeek-V3 هر توکن را به حداکثر ۴ نود محدود می‌کند. Kimi K2 این محدودسازی را کاملاً حذف کرده (n_group=1).
  • Expert Choice: جهت را برعکس می‌کند؛ هر متخصص k توکن انتخاب می‌کند. همگرایی آموزش بیش از ۲ برابر سریع‌تر است، اما در مدل‌های علّی نشتی توکن‌های آینده ایجاد می‌کند. DeepSeek کاهش غیرطبیعی تلف حدود ۱۰٪ را اندازه‌گیری کرده است.
  • Hash و Dynamic top-k: DeepSeek-V4 در ۳ لایه نخست از hash routing استفاده می‌کند. SMIDT dynamic top-k را در SGLang پیاده کرده و P99 زمان تا نخستین توکن را ۱.۲۱ تا ۱.۲۶ برابر بهبود داده است.

توصیه عملی برای تیم‌ها#

راهنما تأکید می‌کند که بیشتر تیم‌ها مسیریاب را انتخاب نمی‌کنند؛ آن را از چک‌پوینت به ارث می‌برند. قبل از serving، چهار فیلد در config.json باید خوانده شود: تعداد متخصص‌ها، متخصص به‌ازای توکن، متخصص‌های مشترک و topk_method. تغییر top-k در استنتاج، مدل را تغییر می‌دهد و باید به‌عنوان آزمایش کیفیت با آن برخورد شود.

خوانش تحریریه#

این خبر برای کسی که همین امروز با ابزارهای موجود ایجنت یا اتوماسیون می‌سازد، تغییر عملیاتی ایجاد نمی‌کند. مسیریاب در چک‌پوینت‌های ازپیش‌آموزش‌دیده قفل است و کاربر نهایی امکان انتخاب ندارد. اما دو نکته قابل توجه است: اول، اگر روی pretraining جدید کار می‌کنید، sigmoid+bias بدون‌تلف دیگر صرفاً یک گزینه نیست؛ عملاً پیش‌فرض باز شده است. دوم، Expert Choice با وجود همگرایی سریع‌تر، در مدل‌های علّی (تقریباً همه مدل‌های زبانی تولیدی) قابل استفاده نیست و این محدودیت در ۲۰۲۶ هنوز پابرجاست. برای serving، هیچ مسیریابی بار را کاملاً متعادل نمی‌کند و شما همچنان به راه‌حل‌های سمت سروینگ نیاز دارید.

منبع: MarkTechPost