بایدو وزنهای خام مدل ERNIE 5.5 Flash Base را روی Hugging Face و ModelScope در قالب FP8 و BF16 منتشر کرد. این مدل یک MoE متنی با ۲۸۰ میلیارد پارامتر کل و ۱۴ میلیارد پارامتر فعال بهازای هر توکن است. نکتهٔ کلیدی اینجاست که وزنها دقیقاً در پایان پیشآموزش متوقف شدهاند و هیچ mid-training یا post-training روی آنها اعمال نشده — یعنی یک نقطهٔ شروع تمیز برای تیمهایی که میخواهند روشهای مختلف fine-tuning یا RL را مقایسه کنند.
معماری#
مدل ۴۳ لایه با hidden size برابر ۴۰۹۶ دارد و روی ۳۳.۵ تریلیون توکن با بهینهساز Muon آموزش دیده است. توکنساز ۲۰۱,۲۱۶ ورودی دارد و اعداد را راستبهچپ در گروههای حداکثر سهرقمی خوشهبندی میکند.
معماری attention ترکیبی است: ۳۷ لایه از Heavily Compressed Attention استفاده میکنند که بهازای هر ۱۲۸ توکن فقط یک ورودی در کش نگه میدارد، و ۶ لایه از Multi-head Latent Attention با sparse attention ترکیب شدهاند. یعنی یکهفتم لایهها دسترسی کامل به context دارند. در لایههای MoE، هر لایه ۵۱۲ کارشناس مسیریاب (top-10) بهعلاوه یک کارشناس مشترک دارد و چندین router مستقل sigmoid جایگزین یک router واحد شدهاند.
بهجای MTP، مدل از ECHO استفاده میکند: لایهٔ نهایی backbone همزمان نقش draft model برای speculative decoding را بازی میکند. این بخش ۰.۳۶ میلیارد پارامتر اضافه دارد که در آمار ۲۸۰ میلیاردی شمرده نشده.
عملکرد#
بایدو در یک pipeline یکسان، چهار مدل پایه را مقایسه کرده. ERNIE 5.5 Flash Base در ۲۴ از ۳۰ بنچمارک بالاترین نمره را گرفته (خودگزارششده). در MMLU-Pro نمرهٔ ۷۸.۴ در برابر ۶۹.۲ برای DeepSeek-V4-Flash-Base ثبت شده. در HumanEval+ نمرهٔ ۸۲.۳ و در LongBench-v2 نمرهٔ ۴۸.۷ گزارش شده است.
در ۶ تسک عقبتر از رقبا قرار دارد: در HELMET-Rerank با نمرهٔ ۵۶.۲ در برابر ۶۰.۰ DeepSeek، و در InfiniteBench و ChineseSimpleQA نیز DeepSeek-V4-Flash-Base جلوتر است.
استقرار و مجوز#
مدل روی سرورهای چند-GPU اجرا میشود. بایدو پیکربندی مرجع با ۴-way parallelism در SGLang (--tp 4) و در vLLM نسخهٔ 0.32.0 بههمراه پلاگین vLLM-ERNIE ارائه کرده است. هر دو سرور تا ۱,۰۴۸,۵۷۶ توکن context قبول میکنند. چون مدل base است، از طریق endpoint کاملشناسی (completions) سرو میشود، نه chat.
مجوز ERNIE 5.5 Flash Base v1.0 استفادهٔ رایگان را تا سقف درآمد سالانه ۵۰ میلیون دلار آمریکا مجاز میداند، اما استفاده در اتحادیهٔ اروپا، بریتانیا و کرهٔ جنوبی را صریحاً حذف کرده است.
این خبر برای کسی که ایجنت میسازد یعنی چه#
ERNIE 5.5 Flash Base یک مدل base است، نه یک مدل گفتوگو. یعنی اگر همین الان میخواهید با آن chat کنید، کاری از پیش نمیبرید؛ باید خودتان instruction tuning یا RLHF انجام دهید. ارزش اصلی این انتشار برای تیمهایی است که میخواهند متدولوژی خود را روی یک checkpoint یکسان و بدون آلودگی post-training بسنجند. محدودیت مجوز نیز نکتهٔ عملی مهمی است: اگر محصول شما کاربر اروپایی، بریتانیایی یا کرهای دارد، این مدل فعلاً گزینهٔ قانونی نیست. در مقایسهٔ عملکردی، فاصلهٔ ۹.۲ امتیازی در MMLU-Pro توجهبرانگیز است، اما باید توجه داشت که همهٔ اعداد خودگزارششده توسط بایدو هستند و در چند مورد با اعداد گزارششده توسط خود DeepSeek و Tencent اختلاف دارند.
منبع: MarkTechPost






دیدگاهها
برای گذاشتن دیدگاه وارد شو
دیدگاهها فقط از حسابهای کاربری پذیرفته میشوند.
ورود / ثبتنامهنوز دیدگاهی ثبت نشده — اولین نفر باش.