#speculative decoding
خبرFlashMap: درافتینگ ۱۶ توکن در یک پاس با سرعت‌بخشی ۶٫۱۴ برابری روی Qwen3-8B
پژوهشگران Polymathic AI و Princeton با FlashMap درافتری ۵۰۰ میلیونی معرفی کردند که ۱۶ توکن را در یک پاس پیش‌نویس می‌کند و تا ۶٫۱۴ برابر…
۶ آبان ۱۴۰۵۲ دقیقه مطالعه
خبرDeepInfer فریم‌ورک استنتاجی DeepSeek منتشر شد؛ فقط آفلاین، فقط Blackwell و Ascend 950
DeepSeek فریم‌ورک استنتاجی خود به نام DeepInfer را با مجوز Apache 2.0 منتشر کرد. این موتور فقط استنتاج آفلاین را پوشش می‌دهد و روی NVIDIA…
۲۸ مهر ۱۴۰۵۲ دقیقه مطالعه