Aleph Alpha، شرکت آلمانی هوش مصنوعی، مدل Kolibri (نسخه Kolibri-1) را منتشر کرد: یک مدل زبانی Mixture-of-Experts دوزبانه انگلیسی-آلمانی با ۷۸.۱ میلیارد پارامتر کل که به ازای هر توکن فقط ۳.۴۶ میلیارد پارامتر (۴.۴٪) فعال می‌شود. این مدل با لایسنس Apache ۲.۰ روی Hugging Face در دسترس است و پنجره متنی تا ۱٬۰۴۸٬۵۷۶ توکن را پشتیبانی می‌کند.

معماری: متخصص‌های پراکنده و توجه هیبریدی#

Kolibri از ۵۰ بلوک ترنسفورمر با عرض مدل ۲٬۵۶۰ تشکیل شده. هر لایه MoE با یک روتر sigmoid به ۳۸۴ متخصص مسیریابی‌شده امتیاز می‌دهد، هر توکن را به ۶ برتر می‌فرستد و همیشه ۱ متخصص مشترک را اجرا می‌کند. در بخش توجه، از grouped-query attention با ۴۸ سر پرسش و ۴ سر کلید-مقدار استفاده شده. هر پنجمین بلوک توجه کامل دارد؛ ۴۰ بلوک دیگر توجه پنجره‌لغزانی ۵۱۲ توکنی با RoPE. این طراحی باعث می‌شود فقط ۱۰ لایه با طول متن رشد کنند و Aleph Alpha گزارش داده که در محاسبات برابر، ۴ برابر بیشتر از یک مدل تمام-توجهی پشتیبانی می‌کند.

آموزش و استقرار#

پیش‌آموزش روی ۲۰ تریلیون توکن در ۷۶۸ GPU از نوع NVIDIA B200 انجام شد، سپس ۳.۴۴ تریلیون توکن میانی در طول ۶۵٬۵۳۶ و ۲۰۱ میلیارد توکن متنی بلند در طول ۲۶۲٬۱۴۴. بیش از ۲ تریلیون توکن آلمانی (بیش از ۲۰٪ مخلوط آموزشی) جداگانه گردآوری شد. پس‌آموزش ترکیبی از SFT با MergeMix و تقویتی روی بیش از ۱.۲ میلیون تکلیف داخلی است.

چک‌پوینت FP8 حدود ۷۸ گیگابایت است و روی یک B200، B300 یا H200 (یا ۲ عدد H100 SXM5) از طریق vLLM سرو می‌شود. Aleph Alpha دمای ۱.۰، top-p برابر ۰.۹۷ و top-k برابر ۱۲۸ را توصیه کرده است.

عملکرد#

در ارزیابی‌های انگلیسی، Kolibri امتیاز کلی ۷۵.۵ و آلمانی ۷۰.۸ کسب کرده که بالاترین در میان ۱۲ مدل MoE مقایسه‌شده است. در GPQA Diamond امتیاز ۸۴.۳، در AIME 2025 امتیاز ۹۶.۹ و در AIME ۲۰۲۶ امتیاز ۹۶.۰ ثبت شده. میانگین عامل‌محور انگلیسی ۶۳.۴ و میانگین کد ۸۹.۳ است. در مقایسه با نسخه پیشین (Kolibri Origin)، این مدل ۲.۷ برابر بیشتر متن را به ازای هر GPU رمزگشایی می‌کند و ۲۱.۴ امتیاز بالاتر در انگلیسی است.

خوانش تحریریه#

مهم‌ترین سیگنال این خبر نه عدد ۷۸.۱ میلیارد پارامتر، بلکه نسبت ۴.۴٪ پارامتر فعال است. این یعنی Aleph Alpha عملاً یک مدل ۳.۵ میلیارد پارامتری را با عمق و تنوع یک مدل ۷۸ میلیاردی بسته‌بندی کرده — و روی یک GPU سرو می‌شود. برای تیم‌هایی که ایجنت یا اتوماسیون می‌سازند، این نسبت هزینه-کیفیت جذاب است، اما دو نکته را باید در نظر داشت: اول، مقایسه با مدل‌های متراکم (مثل Qwen3.8 27B که امتیاز بالاتر دارد) نشان می‌دهد Kolibri هنوز از نظر خام از مدل‌های تمام-فعال عقب است؛ مزیتش در کارایی محاسباتی است نه سقف عملکرد. دوم، هدف اعلام‌شده Aleph Alpha استقرار حاکمیتی در بخش‌های تنظیم‌شده اروپایی است. اگر مدل شما به زبان آلمانی یا انطباق با EU AI Act نیاز ندارد، این خبر بیشتر یک نقطه مرجع فنی است تا یک تغییر عملی در ابزارهای فعلی.

منبع: MarkTechPost