تیم vLLM Semantic Router خانواده مدل‌های Decision 3.0 را منتشر کرد: پنج مدل تصمیم‌گیری چندوجهی با مجوز Apache-2.0 که متن، JSON و تصویر را می‌خوانند و به‌جای تولید متن، احتمال پاسخ می‌دهند. این مدل‌ها برای طبقه‌بندی، مسیریابی و فیلتر درخواست‌ها طراحی شده‌اند.

ساختار مدل‌ها#

  • d3-lite: ۰.۸۵ میلیارد پارامتر
  • d3-nano: ۲.۲۱ میلیارد پارامتر
  • d3-mini: ۴.۵۴ میلیارد پارامتر
  • d3-flash: ۸.۳۹ میلیارد پارامتر
  • d3: ۲۶.۰۹ میلیارد پارامتر

مدل بزرگ d3 بر پایه Qwen3.8-27B ساخته شده و چهار مدل کوچک‌تر بر پایه checkpoints مدل Qwen3.5 در اندازه‌های ۰.۸، ۲، ۴ و ۹ میلیارد پارامتر. هر مدل یک encoder بینایی جداگانه دارد (از ۰.۱۰ تا ۰.۴۶ میلیارد پارامتر) و تا چند تصویر PNG، JPEG یا WebP با حداکثر ۱.۶ مگاپیکسل را می‌پذیرد.

عملکرد و تأخیر#

در ارزیابی داخلی، d3 در جدول متنی نمره ۶۴.۱ و در جدول بینایی ۷۱.۶ کسب کرده است. نکته قابل‌توجه این است که d3-flash با ۹ میلیارد پارامتر نمره ۵۹.۰ گرفته و از Decision 2.0 با ۲۷ میلیارد پارامتر (نمره ۵۵.۹) جلوتر است. در مجموعه عمومی، بهبود نسبت به نسل قبلی بین ۸.۰ تا ۱۵.۱ امتیاز متغیر است.

تأخیر میانی روی یک GPU از نوع AMD Instinct MI325X به این صورت گزارش شده: d3-lite حدود ۲۳.۵ میلی‌ثانیه برای متن و ۶۰.۷ میلی‌ثانیه با تصویر؛ d3 حدود ۸۴ میلی‌ثانیه برای متن و ۳۴۲ میلی‌ثانیه با تصویر. طول context در هیچ‌یک از کارت‌های مدل فاش نشده است.

تحلیل تحریریه#

مهم‌ترین پیام Decision 3.0 این نیست که مدل ۲۷ میلیاردی بهترین نمره را گرفته — بلکه این است که مدل ۹ میلیاردی از نسل قبلی ۲۷ میلیاردی عبور کرده است. برای کسی که router یا guardrail می‌سازد، یعنی می‌تواند با یک‌سوم منابع، عملکرد بهتری از نسخه قبلی بگیرد. اما دو هشدار وجود دارد: اول، نمرات داخلی‌اند و مقابل board زنده سنجیده شده‌اند؛ دوم، طول context فاش نشده و این در عمل می‌تواند محدودیت بزرگی برای اسناد بلند باشد. مدل‌های کوچک‌تر (۰.۸ و ۲ میلیاردی) هم در همه جدول‌ها صدرنشین نیستند و باید پیش از انتخاب، جدول مربوطه را چک کرد.

منبع: MarkTechPost