DeepSeek فریم‌ورک استنتاجی خود، DeepInfer را با مجوز Apache 2.0 روی GitHub منتشر کرد. این موتور همان چیزی است که سرویس‌های تولیدی شرکت را اجرا می‌کند و پشت مدل DeepSeek-V4.1-Flash قرار دارد. لایه‌ی رمزگشایی توکن‌ها با نام deepseek-recipe هم با مجوز MIT منتشر شد.

DeepInfer در حال حاضر فقط یک مدل را پشتیبانی می‌کند (DeepSeek-V4.1-Flash) و فقط روی GPUهای NVIDIA SM100 (Blackwell) و NPUهای Huawei Ascend 950 اجرا می‌شود. پنجره‌ی context مدل ۱ میلیون توکن است.

عملکرد و محدودیت‌های عددی#

DeepSeek در بنچمارک‌های خود (خودگزارش‌شده) این اعداد را ارائه کرده:

  • Decode: بالای ۲۵٬۰۰۰ توکن بر ثانیه بر GPU در ۲۵۶ درخواست بر rank (EP64، context ۱۳۱٬۰۷۲)
  • Prefill: حدود ۶۰٬۰۰۰ توکن غیرکش‌شده بر ثانیه بر GPU در ۴٬۰۹۶ توکن بر rank
  • یک کلاستر تولیدی روزانه ۱۵۵ تریلیون توکن سرو می‌کند
  • درآمد: ۳۸ دلار آمریکا بر GPU-ساعت در قیمت‌گذاری valley

کوچک‌ترین واحد تولیدی کارآمد ۶۴ GPU برای prefill و ۶۴ GPU برای decode است. شرایط ساخت: Linux، GCC 13 به بالا، Python 3.12، و CUDA 13 یا CANN 9.2.

آنچه در این نسخه نیست#

DeepInfer فقط استنتاج آفلاین را پوشش می‌دهد. سیستم KV cache، تفکیک prefill/decode (P/D disaggregation) و load balancing بین replicaها در این انتشار وجود ندارند. تیم DeepSeek توضیح داده که این اجزا به زیرساخت داخلی گره خورده‌اند.

همچنین هسته‌ی FlashMLA داخلی ۵ تا ۱۰ درصد سریع‌تر از نسخه‌ی عمومی است؛ فاصله‌ی end-to-end حدود ۵ درصد یا کمتر تخمین زده می‌شود.

معماری: DSpark و SWA bounded replay#

موتور روی هسته‌های DeepSeek ساخته شده: FlashMLA، DeepGEMM، DeepEP، TileKernels، DeepSelect و TileLang. دو ایده‌ی سیستمی برجسته‌اند:

  • DSpark: مدل draft پنج توکن پیشنهاد می‌دهد و یک Confidence Head نرخ پذیرش هر توکن را پیش‌بینی می‌کند. طبق Q&A، این روش توکن‌های تأییدشده‌ی draft را حدود ۳۰ درصد کاهش می‌دهد (از ۵.۰۰ به ۳.۲ تا ۴.۴) در حالی که طول پذیرفته‌شده تقریباً ثابت می‌ماند.
  • SWA bounded replay: در cache hit، فقط ۱۲۸ توکن آخر حالت sliding-window attention بازمحاسبه می‌شود. این کار هزینه‌ی بازمحاسبه را مستقل از طول context می‌کند و طبق ادعای DeepSeek محاسبات prefill را در لایه‌های decode تقریباً نصف می‌کند.

خوانش تحریریه: برای کسی که ایجنت می‌سازد چه فرقی می‌کند؟#

اگر الان روی NVIDIA H100/A100 سرو می‌کنید، این خبر عملاً چیزی عوض نمی‌کند. DeepInfer به Blackwell و Ascend 950 قفل شده و استنتاج آفلاین است — یعنی برای یک سرویس آنلاین با پاسخ‌دهی چند ثانیه‌ای، بدون KV cache و load balancer، باید خودتان این لایه‌ها را بسازید یا از vLLM و SGLang استفاده کنید که همین حالا آنلاین سرو می‌دهند.

ارزش واقعی این انتشار برای پژوهشگرانی است که می‌خواهند ببینند یک lab مرزی واقعاً چگونه MoE را در مقیاس EP64/EP128 سرو می‌کند، یا چگونه speculative decoding را با confidence scheduling ترکیب کرده. DSpark و EPLB الگوهایی‌اند که احتمالاً در ابزارهای متن‌باز آینده بازتاب پیدا خواهند کرد. اما تا وقتی سخت‌افزار Blackwell در دسترس نیست، این بیشتر یک مرجع معماری است تا یک ابزار عملیاتی.

منبع: MarkTechPost