MarkTechPost آموزش فنی‌ای منتشر کرده که در آن مدل Underdog Saluki 27B — یک بیلد ۷.۹ گیگابایتی از Qwen3.8-27B با کوانتایز در حدود ۲ بیت به‌ازای هر وزن — در کنار نسخه GSQ-RCO ساخت ISTA-DASLab روی ۱۲۰ تسک فراخوانی ابزار (tool calling) مقایسه شده است. سازندگان Saluki مدعی‌اند این نسخه فشرده در بنچمارک ۱۲۰ تسکی خودشان از مدل کامل ۵۴ گیگابایتی هم جلو می‌زند.

مقایسه بایت‌به‌بایت و تست عملیاتی#

آموزش ابتدا یک diff تانسور‌به‌تانسور روی هدر دو فایل GGUF انجام می‌دهد و سپس مقایسه بایت‌سطحی می‌کند تا مشخص شود Saluki صرفاً یک بازآرایی (remix) از بیت‌های ISTA است یا واقعاً مدل تغییرکرده‌ای ارائه می‌دهد. Saluki بر پایه کوانتایز GSQ-RCO همان مدل ساخته شده است.

در گام بعد، هر دو فایل روی یک GPU با llama.cpp (نسخه b11565، منتشرشده ۱۲ اکتبر ۲۰۲۶) سرو می‌شوند و مصرف حافظه و سرعت آن‌ها ثبت می‌گردد. ارزیابی روی ۱۲۰ تسک از Berkeley Function Calling Leaderboard (BFCL v4) انجام می‌شود — پنج دسته تسک با ۲۴ نمونه در هر دسته: فراخوانی تک‌تابع، انتخاب تابع صحیح از چند گزینه، تشخیص بی‌ربطی، فراخوانی موازی یک تابع، و فراخوانی موازی چند تابع. چکرها خود کدهای BFCL هستند با دو حالت strict و lenient.

جزئیات فایل‌ها و پیش‌نیازها#

  • Underdog Saluki: ریپوی ConwayResearch/Underdog-Saluki-27B-1.0، فایل Underdog-Saluki-27B-1.0-IQ2-mix.gguf، حجم ۷٬۸۹۸٬۳۶۹٬۱۵۲ بایت
  • ISTA GSQ-RCO: ریپوی ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF، فایل Qwen3.8-27B-GSQ-RCO-IQ2_XS.gguf، حجم ۸٬۴۲۲٬۸۴۱٬۴۷۲ بایت
  • پیش‌نیاز: GPU انویدیا روی لینوکس (مثلاً Colab T4) یا مک با تراشه Apple Silicon
  • Context window در تست: ۱۶۳۸۴ توکن؛ seed: ۲۰۲۶؛ sampling: greedy (temperature=0)

خوانش تحریریه#

این خبر یک آموزش مقایسه‌ای است، نه یک اعلامیه محصول. مهم‌ترین بخش آن مقایسه بایت‌سطحی است: اگر Saluki صرفاً بازآرایی بیت‌های ISTA باشد، ادعای برتری روی مدل کامل ۵۴ گیگابایتی باید با احتیاط خوانده شود، چون تفاوت ممکن است از روش کوانتایز باشد نه از معماری یا داده آموزشی. از سوی دیگر، اگر واقعاً مدل تغییرکرده باشد، این یعنی یک تیم مستقل توانسته در حجم ۷.۹ گیگابایت tool-calling قابل‌قبولی نگه دارد — که برای ایجنت‌های محلی روی GPU‌های کوچک (T4، مک‌های M-series) کاربردی است. نکته‌ای که هنوز روشن نیست: بنچمارک ۱۲۰ تسکی BFCL محدود است و ادعای «جلو زدن از مدل کامل» فقط در همین دامنه تعمیم‌پذیر است، نه در کارهای واقعی ترکیبی.

منبع: MarkTechPost