پژوهشگران Polymathic AI، دانشگاه Princeton، USC ISI، NYU و Flatiron Institute از FlashMap رونمایی کردند: یک درافتر برای رمزگشایی حدسی (speculative decoding) که به‌جای پخش گسسته‌ی توکن‌ها، از یک نقشه جریان پیوسته (continuous flow map) استفاده می‌کند و یک بلوک کامل ۱۶ توکنی را در یک پاس پیش‌نویس می‌سازد. وزن‌های درافتر برای Qwen3-8B و Qwen3-4B روی Hugging Face منتشر شده و پلاگین‌های vLLM و SGLang هم در دسترس‌اند.

چگونه کار می‌کند#

در روش‌های پیشین مثل DFlash، هر خانه از بلوک به‌طور مستقل پیش‌بینی می‌شود. این «تقریب فاکتوریزه‌شده» باعث می‌شود در حالت‌های چندتایی (مثلاً «new york» یا «san diego») ترکیب‌های نامعتبر مثل «new diego» ساخته شود و مدل هدف آن‌ها را رد کند. FlashMap هر نمونه نویز را مستقیماً به یک بلوک کامل نگاشت می‌کند؛ یعنی انتخاب حالت برای همه خانه‌ها به‌صورت مشترک انجام می‌شود.

ساختار درافتر یک DiT با ۶ بلوک است: ابعاد امبدینگ ۲۰۴۸ و ۱۶ سر توجه. حالت‌های پنهان از لایه‌های ۱، ۹، ۱۷، ۲۵ و ۳۳ مدل هدف خوانده می‌شود. آموزش در دو مرحله انجام شده — ابتدا یک معلم جریان پیوسته با کراس‌انتروپی، سپس تقطیر نیمگروهی برای تبدیل به یک دنویزر تک‌گامی. حجم آموزش: ۵۰۰ هزار نمونه از Open-PerfectBlend و حدود ۴٬۶۰۰ ساعت GPU از نوع H200.

عملکرد و محدودیت‌ها#

  • اندازه درافتر: ۵۰۰M پارامتر برای Qwen3-8B و ۴۷۵M برای Qwen3-4B (تقریباً نصف DFlash).
  • بهترین نتیجه: ۶٫۱۴ برابر شتاب روی GSM8K در دمای صفر (طول پذیرش ۷٫۶۹ توکن).
  • بدترین نتیجه: ۲٫۲۸ برابر روی Alpaca در دمای یک.
  • در حالت ۲ گامی، طول پذیرش در ۱۸ از ۱۸ تنظیم از DFlash بهتر است (میانگین ۱۰٪ بالاتر).
  • روی Qwen3-4B در دمای صفر، در ۴ از ۹ تکلیف از DFlash عقب‌تر است.

استقرار#

نصب با uv pip install flashmap انجام می‌شود و فقط به torch و transformers>=4.56 نیاز دارد. برای سروینگ در vLLM 0.31 باید در --speculative-config مقدار num_speculative_tokens=16 تنظیم شود. در SGLang 0.5.20 از --speculative-algorithm DSPARK استفاده می‌شود. برای دمای بالاتر از صفر در vLLM، گزینه "draft_sample_method": "probabilistic" لازم است. مجوز وزن‌ها Apache-2.0 و مجوز کد MIT است.

خوانش تحریریه#

FlashMap یک گام مهندسی واقعی در رمزگشایی حدسی است، نه یک جهش بنیادین. عدد ۶٫۱۴ برابر روی GSM8K جذاب است، اما همان منبع نشان می‌دهد که روی Alpaca در دمای یک فقط ۲٫۲۸ برابر شتاب دارد و روی Qwen3-4B در برخی تکالیف از DFlash عقب است. یعنی عملیاتی که می‌خواهید این درافتر را جایگزین DFlash کنید، باید روی مدل و تکلیف خودتان benchmark بزند، نه اینکه به عدد headline اعتماد کند.

آنچه واقعاً ارزش عملی دارد، این است که یک درافتر ۵۰۰ میلیونی روی همان GPU مدل هدف اجرا می‌شود و پلاگین آماده برای vLLM و SGLang دارد. برای تیم‌هایی که الان از DFlash یا EAGLE-3 استفاده می‌کنند، امتحان کردن FlashMap هزینه‌ی چندانی ندارد. اما اگر درافتینگ حدسی را از صفر شروع می‌کنید، این خبر چیزی عوض نمی‌کند که یک هفته پیش نمی‌توانستید انجام دهید — فقط گزینه‌ی بهتری به فهرست اضافه شده است.

منبع: MarkTechPost