Prime Intellect هسته‌ی Prime Mega MoE را منتشر کرد — یک پس‌گذرِ ترکیب‌شده و همپوشان برای آموزش مدل‌های mixture-of-experts که بر پایه‌ی هسته‌ی Mega MoE دِیپ‌سیک در کتابخانه‌ی DeepGEMM ساخته شده است. هسته‌ی اصلی دِیپ‌سیک فقط گذرِ پیش‌رو (forward pass) را پوشش می‌داد؛ Prime Intellect پس‌گذر (backward pass) را هم به‌صورت ترکیب‌شده و همپوشان پیاده‌سازی کرده و هسته را برای آموزش قابل‌استفاده کرده است.
عملکرد در اعداد#
در آزمایش‌های منتشرشده روی مدل‌های Qwen3-30B-A3B و Qwen3-235B-A22B (هر دو با ۱۲۸ متخصص و مسیریابی top-8)، گام‌های کامل آموزش در prime-rl تا ۳۴٪ سریع‌تر از خط‌پایه‌ی خود prime-rl و تا ۵۵٪ سریع‌تر از TorchTitan اجرا شده‌اند. بهترین عدد گزارش‌شده ۳٫۱۱ برابر سرعت در گذرِ پیش‌رو روی لایه‌ی MoE مدل ۳۰B است (از ۱۲٫۰ به ۳٫۹ میلی‌ثانیه). اما در بزرگ‌ترین لایه‌ی ۲۳۵B، سرعت پس‌گذر فقط ۱٫۲۴ برابر شده (از ۳۰٫۵ به ۲۴٫۶ میلی‌ثانیه).
سخت‌افزار و دقت عددی#
این هسته روی GPUهای NVIDIA Hopper (با blockwise FP8) و Blackwell (با MXFP8) کار می‌کند و BF16 روی هر دو پشتیبانی می‌شود. یک حالت ترکیبی fp8_bwd هم موجود است: گذرِ پیش‌رو با BF16 و پس‌گذر با FP8. اعداد منتشرشده روی خوشه‌های ۸×H200 با ۳۲ تا ۱۲۸ GPU، توالی‌های ۱۶٬۳۸۴ توکنی و checkpointing کامل فعال‌سازی به‌دست آمده‌اند.
نحوه‌ی استفاده#
Prime Mega MoE به‌عنوان یک dispatch backend در prime-rl عرضه شده است. برای فعال‌سازی، در بخش [trainer.model.moe.dispatch] مقدار type = "mega_moe" تنظیم می‌شود و دقت از میان bf16، mxfp8، fp8 یا fp8_bwd انتخاب می‌گردد. هسته‌های آموزشی در یک wheel از پیش‌ساخته‌ی prime-kernels قرار دارند و در بیلد استاندارد DeepGEMM موجود نیستند. مجوز انتشار Apache 2.0 است.
این خبر چه چیزی را عوض می‌کند و چه چیزی را نه#
اگر تیم شما از قبل مدل‌های MoE با مقیاس بزرگ آموزش می‌دهد، این هسته مستقیماً هزینه‌ی GPU-hours را کاهش می‌دهد و ارزش بررسی فوری دارد. اما توجه به الگوی اعداد مهم است: سود اصلی در گذرِ پیش‌رو است و پس‌گذر — که در آموزش گلوگاه واقعی است — روی لایه‌های بزرگ فقط ۱٫۲۴ برابر سریع‌تر شده. یعنی عدد ۳٫۱۱ برابر در تیتر، تصویر کاملی از سرعت‌آموزش کل گام نیست. برای کسی که از طریق API مدل‌های آماده استفاده می‌کند یا ایجنت می‌سازد، این خبر عملاً چیزی عوض نمی‌کند؛ این یک بهینه‌سازی سطح‌پایین برای تیم‌های زیرساختی است.
منبع: MarkTechPost
دیدگاهها
برای گذاشتن دیدگاه وارد شو
دیدگاهها فقط از حسابهای کاربری پذیرفته میشوند.
ورود / ثبتنامهنوز دیدگاهی ثبت نشده — اولین نفر باش.