#llm-d

llm-d نسخه ۱.0 پایدار شد؛ مسیریابی آگاه از کش در مقیاس ۱۷ هزار گره

گوگل نسخه ۱.0 پایدار llm-d را منتشر کرد؛ لایه استنتاج توزیع‌شده با مسیریابی آگاه از پیشوند و ادغام KV cache. نتایج بنچمارک ۱۷ هزار گره‌ای…