تیم vLLM Semantic Router مدل d3-ultra را تحت لایسنس Apache-2.0 منتشر کرد. این مدل ۲۶.۰۹ میلیارد پارامتر دارد (شامل یک انکودر بینایی ۰.۴۶ میلیاردی) و برخلاف مدل‌های زبانی معمول، متن تولید نمی‌کند. ورودی را یک‌بار می‌خواند و برای هر سؤالِ تایپ‌شده، احتمال برمی‌گرداند.

کارکرد: یک خوانش، چند پرسش#

مفهوم اصلی «state once» است: مدل ورودی (متن، JSON، تصویر یا ویدئو) را یک‌بار می‌خواند و همهٔ سؤالات را از همان خوانش پاسخ می‌دهد. هر سؤال یکی از پنج نوع زیر را دارد:

  • Choice: انتخاب یک گزینه از چند گزینه
  • Yes/No: احتمال مثبت بودن
  • Score: امتیازدهی روی یک مقیاس
  • Box: موقعیت‌یابی در تصویر یا ویدئو
  • Track: دنبال‌کردن یک هدف در کل ویدئو

معماری پشت d3-ultra بر پایهٔ Qwen3.5 با ۶۴ لایه است (۴۸ لایهٔ linear-attention و ۱۶ لایهٔ full-attention). سقف context برای هر سؤال ۱۳۱,۰۷۲ توکن است و سؤالات بلندتر از این مقدار با خطای max_length_exceeded رد می‌شوند؛ هیچ‌چیز به‌صورت خاموش کوتاه نمی‌شود.

عملکرد در بنچمارک‌ها#

در آزمون SR-Text (۱۰,۴۱۱ درخواست متنی با ۷۳,۴۹۵ سؤال) d3-ultra امتیاز ۸۷.۲ کسب کرد — بالاترین عدد بین ۶ مدل تصمیم‌گیر. GLiDE V1.2 با ۸۵.۱ و d3-turbo با ۸۳.۱ در رتبه‌های بعدی قرار گرفتند.

در آزمون SR-Box (۵,۶۷۸ سؤال موقعیت‌یابی روی ۴,۹۸۴ تصویر) d3-ultra ۵۸.۲٪ روی ۱۰ دامنه و ۵۴.۶٪ روی ۹ دامنه امتیاز گرفت. d3-turbo با ۶۰.۰٪ و ۵۹.۶٪ بهتر عمل کرد. تیم می‌گوید d3-turbo در تصاویر طبیعی قوی‌تر است و d3-ultra در نمودارها.

تأخیر روی یک AMD Instinct MI325X با وزن‌های BF16: یک سؤال دربارهٔ عکس ۳۰۴ میلی‌ثانیه و ۲۵۵ سؤال ۲.۱۶ ثانیه (تقریباً ۷.۳ میلی‌ثانیه برای هر سؤال اضافه).

نحوهٔ استقرار#

چهار مسیر وجود دارد:

  1. Transformers: AutoModel.from_pretrained("vllm-sr/d3-ultra", trust_remote_code=True) با transformers==5.17.0
  2. vLLM Semantic Router Engine: دستور vllm-sr serve -e vllm-sr/d3-ultra (PR #5449، ۲۵ اکتبر ۲۰۲۶)
  3. API رایگان: decision.vllm-sr.ai با کلید رایگان
  4. Demo: Hugging Face Space رسمی

هنوز نسخهٔ quantized رسمی منتشر نشده است.

خوانش تحریریه#

اگر در حال ساخت ایجنت یا سیستم روتینگ هستید، d3-ultra یک تغییر واقعی در مدل ذهنی‌تان ایجاد می‌کند: به‌جای اینکه یک مدل زبانی را وادار کنید متن تولید کند و بعد از خروجی پارس کنید، مستقیماً احتمال می‌گیرید. ۲۵۵ سؤال در ۲.۱۶ ثانیه یعنی برای سیستم‌هایی که باید ده‌ها شرط را روی یک ورودی چک کنند، تأخیر عملی است.

اما دو احتیاط لازم است. اول، همهٔ اعداد بنچمارک روی تست‌ست‌های خصوصی خودِ تیم vLLM Semantic Router گزارش شده‌اند — نه یک نهاد ثالث آن‌ها را بازتولید کرده. دوم، در موقعیت‌یابی (Box) مدل برادر کوچک‌ترش d3-turbo جلوتر است؛ اگر case شما بیشتر روی تصاویر طبیعی است تا نمودار و داشبورد، d3-ultra انتخاب بهینه نیست.

برای کسی که فقط روتینگ متنی ساده نیاز دارد، مدل‌های ۰.۶B تا ۲۷B این خانواده احتمالاً بیش از حد بزرگ‌اند. ارزش d3-ultra در چندوجهی بودن و تعداد بالای سؤال‌ها روی یک ورودی است.

منبع: MarkTechPost