Underdog، دستیار محلی Conway Research، مدل Saluki 27B را منتشر کرد: یک GGUF دو بیتی از Qwen3.8-27B که در فایل ۷.۸۹ گیگابایتی جا می‌شود، در حالی که نسخه کامل BF16 به ۵۴ گیگابایت نیاز دارد. این مدل زیر مجوز Apache 2.0 روی llama.cpp استاندارد اجرا می‌شود.

سه لایه ساخت#

پایه مدل، Qwen3.8-27B است — یک مدل چگال ۲۷ میلیارد پارامتری با ۶۴ لایه، ترکیب توجه خطی Gated DeltaNet با توجه دروازه‌ای، و پشتیبانی بومی از ۲۶۲,۱۴۴ توکن. لایه دوم، نسخه IQ2_XS از ISTA-DASLab است (۸.۴ گیگابایت، ۲.۵۰ بیت در هر وزن) که با روش GSQ شبکه‌های اسکالر کم‌بیت را آموزش داده و با RCO نوع کوانتیزاسیون هر تانسور را تعیین کرده است. لایه سوم، عبور خودِ Underdog است که فایل را به ۷.۸۹ گیگابایت رسانده و کوانتیزاسیون را به‌طور هدفمند برای ابزارخوانی تنظیم کرده. این فایل با نام IQ2-mix و برچسب imatrix منتشر شده، اما دستور کامل آن هنوز منتشر نشده است.

عملکرد در بنچمارک‌ها#

Underdog نتایج را در دو گروه ارائه کرده:

  • Underdog Bench (۱۲۰ وظیفه از BFCL v4): Saluki نمره ۸۸، مدل کامل ۸۴، و PrismML Bonsai 2 نمره ۷۰.
  • ابزارخوانی موازی (۱۰۰ وظیفه BFCL v4): Saluki ۴۲ در مقابل ۳۵ برای مدل کامل — یعنی ۱۲۰٪ بازدهی.
  • SWE-bench Verified (۵۰ مسئله): Saluki ۳۰ مسئله را حل کرد، مدل کامل ۳۳.

در مقایسه با نمرات عمومی مدل کامل، افت در ریاضی و استدلال چندهمه‌ای محسوس است: AIME 2025 از ۹۶.۷ به ۷۹.۲ (حدود ۸۲٪ بازدهی) و AIME 2026 از ۹۴.۶ به ۸۰.۰ کاهش یافته است. میانگین بازدهی در ۹ بنچمارک ۹۶٪ گزارش شده.

مقایسه با نسخه‌های فشرده دیگر#

PrismML Bonsai 2 کوچک‌تر است (۵.۹۵ گیگابایت، ۱.۷۵ بیت در هر وزن) و بازدهی ۹۸.۲٪ را در ۱۴ بنچمارک گزارش کرده، اما برای اجرا به فورک llama.cpp مخصوص PrismML نیاز دارد. Saluki روی llama.cpp استاندارد کار می‌کند و افزونه بینایی ۶۲۹ یا ۹۲۸ مگابایتی اختیاری دارد.

خوانش تحریریه#

برای کسی که همین حالا ایجنت محلی می‌سازد، Saluki 27B یک گزینه عملی است: فایل زیر ۸ گیگابایت روی llama.cpp استاندارد بدون فورک یا ابزار خاص اجرا می‌شود و در دقیق‌ترین مهارت یک ایجنت — صدا زدن ابزارهای موازی — از نسخه کامل بهتر عمل می‌کند. اما این خبر جای استدلال ریاضی و حل مسئله چندمرحله‌ای را خالی می‌گذارد؛ افت ۱۲ تا ۱۸ امتیازی در AIME یعنی اگر ایجنت شما به محاسبات پیچیده نیاز دارد، این فشرده‌سازی هنوز گزینه نیست. نکته دوم: دستور کوانتیزاسیون Underdog منتشر نشده، پس تکرارپذیری این نتیجه فعلاً در حد ادعای خودِ سازنده است.

منبع: MarkTechPost