#SGLang
خبرFlashMap: درافتینگ ۱۶ توکن در یک پاس با سرعت‌بخشی ۶٫۱۴ برابری روی Qwen3-8B
پژوهشگران Polymathic AI و Princeton با FlashMap درافتری ۵۰۰ میلیونی معرفی کردند که ۱۶ توکن را در یک پاس پیش‌نویس می‌کند و تا ۶٫۱۴ برابر…
۶ آبان ۱۴۰۵۲ دقیقه مطالعه
خبرAKV: سیستم مهندسی کشِ پژوهشگران Tsinghua که هزینه‌ی ایجنت‌های زبانی را ۲۷.۷٪ کم می‌کند
پژوهشگران Tsinghua و CUHK سیستم AKV را متن‌باز کردند؛ مهندسی KV cache برای ایجنت‌ها بدون خلاصه‌سازی تاریخچه، با کاهش ۲۷.۷٪ هزینه و افزایش…
۴ آبان ۱۴۰۵۳ دقیقه مطالعه
خبرllm-d نسخه ۱.0 پایدار شد؛ مسیریابی آگاه از کش در مقیاس ۱۷ هزار گره
گوگل نسخه ۱.0 پایدار llm-d را منتشر کرد؛ لایه استنتاج توزیع‌شده با مسیریابی آگاه از پیشوند و ادغام KV cache. نتایج بنچمارک ۱۷ هزار گره‌ای…
۲۹ مهر ۱۴۰۵۲ دقیقه مطالعه