پژوهشگران دانشگاه Tsinghua و دانشگاه CUHK سیستم AKV را با مجوز Apache-2.0 منتشر کردند. AKV یک سرویس‌دهنده برای مهندسی KV cache در ایجنت‌های زبانی است که روی SGLang ساخته شده. ایده‌ی اصلی ساده است: به‌جای خلاصه‌سازی پیام‌های قدیمی تاریخچه، ایجنت ورودی‌های انتخابی کش را حذف می‌کند و بقیه را بدون محاسبه‌ی مجدد نگه می‌دارد.

تفاوت مهندسی کش با مهندسی متن#

در رویکرد معمول (context engineering)، تاریخچه‌ی متنی خلاصه یا کوتاه می‌شود. این کار پیشوند گفت‌وگو را تغییر می‌دهد و تمام وضعیت‌های KV بعدی باطل می‌شوند؛ پس بخش باقی‌مانده باید از نو prefill شود. AKV متن تاریخچه را دست نمی‌زند و فقط مشخص می‌کند کدام ورودی‌های KV در دسترس توجه (attention) باقی بمانند. در تحلیل هزینه‌ی مقاله، خواندن KV cache معادل ۸۲.۴٪ از کل هزینه‌ی API را تشکیل می‌داد.

سه عملیات کش#

AKV سه عملیات تعریف می‌کند:

  • Append: افزودن استاندارد توکن‌های جدید.
  • Drop: حذف ورودی‌های انتخابی از توجه آینده بدون تغییر موقعیت‌ها.
  • Repos: بازنویسی کلیدهای باقی‌مانده به موقعیت‌های ۰ تا r−۱ با چرخش RoPE. مقادیر بدون تغییر می‌مانند، پس هیچ hidden state‌ای از نو محاسبه نمی‌شود.

در آزمایش‌های ablation، افزودن Repos نرخ موفقیت GPT-OSS-120B را روی BrowseComp-Plus از ۵۵٪ به ۶۲٪ رساند.

نتایج عملکرد#

سیاست اصلی، حذف غلتشی پاسخ‌های ابزار است که فقط ۱۲ پاسخ آخر را نگه می‌دارد. آزمایش‌ها روی سه مدل (GPT-OSS-120B با ۵.۱B فعال، MiniMax-M2.7 با ۲۳۰B کل و ۱۰B فعال، MiroThinker-1.7-Mini با ۳۰B کل و ۳B فعال) و چهار بنچمارک ایجنتی انجام شد. بهترین نتیجه: GPT-OSS-120B روی SWE-bench Verified، هزینه از ۲۰.۰ به ۹.۷ سنت در هر کار و امتیاز از ۴۰.۰ به ۴۳.۲ رسید. بدترین: MiniMax-M2.7 روی BrowseComp-Plus با ۵۸.۹ امتیاز، ۳.۴ واحد پایین‌تر از Text Engineering.

در بنچمارک سرویس‌دهی روی ۸۰ کار بلندمتن SWE-bench Verified، AKV نسبت به baseline در هر تنظیم اوجی خود، ۱.۱۸ برابر ازدهی خروجی، ۱.۵۳ برابر ازدهی ورودی و ۱.۵۱ برابر تأخیر P95 بهتر ارائه داد. در همزمانی ۱۶، تأخیر P95 استاندارد ۲۲۹.۹ ثانیه بود در مقابل ۳۰.۶۳ ثانیه برای AKV.

تنظیم خودکار سیاست توسط ایجنت#

MiniMax-M2.7 روی ۲۰ کار BrowseComp-Plus سیاست‌های خود را اصلاح کرد و روی ۱۰۰ کار نگه‌داشته اجرا شد. سیاست تکرار ششم هزینه را ۱۷.۸٪ نسبت به استاندارد کاهش داد. قرار دادن کنترل کش به‌صورت ابزار (CacheTool) دقت را هم بالا برد: GPT-OSS-120B از ۵۲.۱ به ۶۱.۰ رسید، اما هزینه‌ی MiniMax-M2.7 از ۵.۴ به ۵.۹ سنت افزایش یافت.

خوانش تحریریه#

AKV برای تیم‌هایی که همین حالا روی SGLang سرویس‌دهی می‌کنند، کم‌اصطکاک‌ترین مسیر کاهش هزینه‌ی ایجنت است؛ چون متن تاریخچه دست‌نخورده می‌ماند و فقط لایه‌ی کش تغییر می‌کند. اما سه نکته قابل‌احتیاط است. اول: اعداد ۲۷.۷٪ و ۱.۷ واحد، میانگین روی سه مدل و چهار بنچمارک‌اند؛ در بدترین ترکیب (MiniMax روی BrowseComp-Plus) AKV از baseline هم ضعیف‌تر عمل کرد. دوم: هزینه‌ها برآورد API-equivalent از نرخ‌های منتشرشده‌اند، نه صورت‌حساب واقعی. سوم: سیاست پیش‌فرض (نگه‌داشتن ۱۲ پاسخ آخر ابزار) برای ایجنت‌هایی با الگوی فراخوانی متفاوت ممکن است بهینه نباشد و تنظیم خودکار هم هنوز هزینه‌ی محاسباتی دارد. در مجموع، این یک ابزار سرویس‌دهی است نه یک تغییر معماری مدل؛ ارزشش برای کسی که زیرساخت SGLang دارد مشخص است و برای بقیه فعلاً صرفاً یک گزینه‌ی پژوهشی با کد قابل‌اجراست.

منبع: MarkTechPost