Perplexity Research و turbopuffer مدل pplx-embed-v2-context-9b-preview را منتشر کردند؛ یک مدل جاسازی زمینه‌ای ۹ میلیارد پارامتری برای خطوط لوله‌ی RAG که برخلاف رویه‌ی رایج، به‌جای یک قطعه‌ی طلایی، پاسخ و زمینه‌ی لازم برای تأیید آن را هم‌زمان بازیابی می‌کند.

مشکل قطعه‌ی طلایی#

در سیستم‌های RAG، سند به قطعه‌ها تقسیم می‌شود و معمولاً هر پرسش فقط یک قطعه‌ی طلایی دارد. اما قطعه‌ها اغلب به موجودیت، سرفصل یا تعریفی در جای دیگر سند وابسته‌اند. مدل‌های زمینه‌ای با late chunking این مشکل را تا حدی حل می‌کنند، ولی در آموزش، قطعه‌هایی که پاسخ را تأییدپذیر می‌سازند به‌عنوان منفی برچسب می‌خورند. Perplexity سه مشکل دیگر را هم برمی‌شمارد: برچسب باینری سیگنال خام می‌دهد، هزینه‌ی برچسب‌گذاری LLM با حجم داده خطی رشد می‌کند، و برچسب‌ها به یک استراتژی قطعه‌بندی گره خورده‌اند.

روش آموزش#

معلم، مدل فشرده‌سازی زمینه‌ی آگاه‌به‌پرسش Perplexity است که پرسش و سند را هم‌زمان می‌خواند و به هر توکن نمره می‌دهد. نمره‌های برچسب نرم از میانگین بالاترین n توکن هر قطعه و softmax دما-مقیاس‌شده روی قطعه‌های سند مثبت ساخته می‌شود. تابع زیان تقطیر، واگرایی KL پیشرو بین توزیع معلم و دانش‌آموز است. تابع زیان سند، InfoNCE با الهام از MaxSim مدل ColBERT است.

  • مدل از یک مدل بازیابی ColBERT داخلی ۹ میلیارد پارامتری شروع می‌شود.
  • خروجی ۲۰۴۸ بُعدی است؛ Matryoshka training بُعد ۱۰۲۴ را هم پشتیبانی می‌کند.
  • Quantization-aware training جاسازی‌های بومی int8 تولید می‌کند.
  • آموزش روی حدود ۴۳۰ مجموعه‌داده در بیش از ۵۰ زبان انجام شده و داده‌ی ConTEB در آن نیست.
  • هر batch یک استراتژی قطعه‌بندی تصادفی نمونه‌گیری می‌کند؛ معلم فقط در آموزش اجرا می‌شود، پس استنتاج تأخیر یا فضای اضافی ندارد.

نتایج در context-bench#

معیار context-bench توسط turbopuffer ساخته و به‌صورت خصوصی نگه داشته شده تا آلودگی آموزش محدود شود: ۲٬۰۹۹ پرسش روی ۳۸٬۸۹۴ سند در ۲۱ حوزه، با ۲٬۴۵۸٬۰۷۲ قطعه‌ی جمله‌ای. مدل به‌صورت کور ارائه شده.

  • در K=10: بازیابی پاسخ ۴۵.۵٪، بازیابی شواهد ۴۰.۶٪، بازیابی تمام شواهد ۳۱.۱٪.
  • نسبت به voyage-context-4: ۱۴.۴ واحد جلوتر در بازیابی پاسخ و ۵.۰ واحد در بازیابی شواهد.
  • در ConTEB: بالاترین میانگین nDCG@10 در میان مدل‌های مقایسه‌شده.
  • ذخیره‌سازی: بردار ۱۰۲۴ بُعدی int8 (۱ کیلوبایت) کمی از بردار ۲۰۴۸ بُعدی float32 voyage-context-4 (۸ کیلوبایت) جلوتر است.

دسترسی و محدودیت‌ها#

وزن‌ها روی Hugging Face زیر مجوز MIT قرار دارند و مدل به‌صورت self-hosted قابل استفاده است. بارگذاری نیازمند transformers>=5.4.0 و trust_remote_code=True است. مدل هنوز روی Perplexity API در دسترس نیست و کارت مدل هشدار می‌دهد که وزن‌ها و رابط ممکن است بدون سازگاری عقب‌گرد تغییر کنند.

این خبر برای کسی که همین حالا ایجنت می‌سازد چه معنی دارد#

اگر در حال ساخت سامانه‌ی RAG هستید و مشکل اصلی‌تان این است که قطعه‌ی بازیابی‌شده بدون زمینه‌ی اطرافش بی‌معنی است، این مدل یک مسیر مشخص ارائه می‌دهد: به‌جای یک برچسب one-hot، سیگنال آموزش نرم و قابل‌انعطاف نسبت به مرزهای قطعه‌بندی ساخته می‌شود. اما دو نکته را باید در نظر بگیرید: اول، نسخه‌ی preview است و کارت مدل صراحتاً می‌گوید ممکن است بدون سازگاری عقب‌گرد تغییر کند — یعنی اگر همین حالا در خط تولید استفاده کنید، ریسک شکستن دارید. دوم، مزیت اصلی در سناریوهایی است که سند بلند است و پاسخ در چند قطعه پخش شده؛ اگر اسناد شما کوتاه و خودکفا هستند، تفاوت محسوسی نخواهید دید.

منبع: MarkTechPost