#vLLM
خبرFlashMap: درافتینگ ۱۶ توکن در یک پاس با سرعت‌بخشی ۶٫۱۴ برابری روی Qwen3-8B
پژوهشگران Polymathic AI و Princeton با FlashMap درافتری ۵۰۰ میلیونی معرفی کردند که ۱۶ توکن را در یک پاس پیش‌نویس می‌کند و تا ۶٫۱۴ برابر…
۶ آبان ۱۴۰۵۲ دقیقه مطالعه
خبرllm-d نسخه ۱.0 پایدار شد؛ مسیریابی آگاه از کش در مقیاس ۱۷ هزار گره
گوگل نسخه ۱.0 پایدار llm-d را منتشر کرد؛ لایه استنتاج توزیع‌شده با مسیریابی آگاه از پیشوند و ادغام KV cache. نتایج بنچمارک ۱۷ هزار گره‌ای…
۲۹ مهر ۱۴۰۵۲ دقیقه مطالعه
خبرمدل تصمیم‌گیری ۹ میلیاردی Decision 3.0 از نسل قبلی ۲۷ میلیاردی پیشی می‌گیرد
تیم vLLM Semantic Router خانواده مدل‌های Decision 3.0 را منتشر کرد؛ پنج مدل ۰.۸ تا ۲۷ میلیارد پارامتر با مجوز Apache-2.0 که ورودی متن،…
۲۰ مهر ۱۴۰۵۲ دقیقه مطالعه