MarkTechPost راهنمای گام‌به‌گامی برای اجرای مدل Dory 1.0 4B روی llama.cpp منتشر کرده است. این مدل کوچک استدلالی (reasoning) متعلق به آزمایشگاه Nemotron انویدیا است و ویژگی معماری‌اش این است که لایه‌های میانی آن یک بلوک مشترک تشکیل می‌دهند که می‌تواند یک، دو، سه یا چهار بار روی هر توکن اعمال شود. هر دور اضافه، محاسبات بیشتری به ازای هر توکن مصرف می‌کند بدون آنکه حتی یک پارامتر جدید به مدل اضافه شود؛ یعنی از یک چک‌پوینت، چهار بودجه محاسباتی متفاوت بدون بازمهندسی (retraining) به دست می‌آید.

نکته‌ی عملی مهم این است که Dory در llama.cpp هنوز پشتیبانی رسمی ندارد. در زمان انتشار این راهنما، PR مربوطه در مخزن ggml-org (شماره 30306) در حالت draft باقی است. بنابراین راهنما از فورک brianchmielNV/llama.cpp استفاده می‌کند که دقیقاً همان کامیت pin‌شده در کارت مدل انویدیا است.

فایل GGUF مدل با کوانتایزیشن Q5_K_M حدود 3.7 گیگابایت حجم دارد. نویسنده راهنما معماری مدل را مستقیماً از فایل GGUF می‌خواند و پیش‌بینی می‌کند هر تعداد loop چه هزینه‌ای از نظر پارامتر و حافظه‌ی cache دارد؛ سپس این پیش‌بینی‌ها را با سرور در حال اجرا مقایسه می‌کند، سرعت decode را در هر تعداد loop اندازه می‌گیرد، و بررسی می‌کند که آیا cache ارزان‌ترِ دورِ آخر روی خروجی مدل اثر دارد یا خیر. در نهایت یک ارزیابی جفتی GSM8K انجام می‌شود تا دقت، طول پاسخ و زمان‌به‌ازای هر سؤال حل‌شده را با افزایش تعداد loop بسنجد.

این خبر برای کسی که ایجنت می‌سازد چه معنایی دارد#

مفهوم معماری looped middle-block جالب است چون به‌طور نظری اجازه می‌دهد در زمان inference و بدون retraining بین دقت و سرعت سوییچ کنید — چیزی که در ساخت ایجنت‌های چندمرحله‌ای (مثلاً reasoning سریع برای طبقه‌بندی و reasoning عمیق‌تر برای تصمیم نهایی) کاربرد دارد. اما دو محدودیت عملی را نباید از چشم دور داشت. اول، مدل 4B است و GSM8K هم تست نسبتاً ساده‌ای است؛ نتیجه‌ی ارزیابی این راهنما لزوماً به کارهای پیچیده‌تر تعمیم نمی‌یابد. دوم، تا زمانی که PR رسمی ادغام نشود، هر کسی که این مدل را در production استفاده کند به فورک pin‌شده وابسته است و با هر تغییر در llama.cpp ممکن است بشکند. عملاً این خبر یک راهنمای فنی است، نه خبر انتشار محصول.

منبع: MarkTechPost