Cohere AI خانواده مدل‌های Rerank 5 را در دو سطح rerank-v5.0-pro و rerank-v5.0-fast منتشر کرد. این مدل‌ها یک لایه بازنویسی (reranker) هستند که نتایج جستجو را پیش از رسیدن به LLM مرتب می‌کنند. دو قابلیت جدید — Context Focus و امتیازهای کالیبره‌شده — مستقیماً برای سازندگان RAG و ایجنت طراحی شده‌اند.

Context Focus چگونه کار می‌کند؟#

Context Focus یک قابلیت اختیاری است که به‌صورت پیش‌فرض خاموش است. با یک فراخوانی Rerank، علاوه بر امتیاز اسناد، بازه‌های متنی مرتبط (start و end offset) نیز بازگردانده می‌شوند. Cohere روی ۳۰ مجموعه داده پرسش‌وپاسخ آزمایش کرد: حذف نیمی از متن بازیابی‌شده ۹۶ درصد کیفیت پاسخ را حفظ می‌کند و حذف سه‌چهارم متن، ۸۷ درصد.

در آزمون عامل جستجو روی ۱۷ مجموعه داده، BM25 به‌تنهایی ۴۶ درصد دقت داشت. افزودن Rerank 5 Pro آن را به ۴۹ درصد رساند. Context Focus با آستانه ۰.۱ دقت را به ۵۷ درصد و با آستانه ۰.۴ به ۵۸ درصد بالا برد، درحالی‌که به‌ترتیب ۱۹ و ۳۴ درصد توکن کمتری مصرف شد. روی ۶ بنچمارک deep-search، مصرف توکن ۴۱ درصد کاهش یافت و دقت از ۳۹ به ۵۲ درصد رسید.

امتیازهای کالیبره‌شده#

امتیازهای Rerank 5 به‌شکل احتمال خوانده می‌شوند؛ مثلاً ۰.۷ یعنی ۷۰ درصد احتمال مفید بودن سند. خطای کالیبراسیون مورد انتظار (ECE) حدود ۰.۰۶ است، درمقابل ۰.۲۳۴ برای Voyage AI Rerank 3. عملاً تیم‌های توسعه می‌توانند به‌جای top-k ثابت، از آستانه استفاده کنند و ایجنت تشخیص دهد که نتیجه مرتبطی بازنگشته است.

عملکرد و قیمت#

Pro در ۳۹ از ۴۶ مجموعه داده ترکیبی (ارزیابی داخلی Cohere) رتبه اول را دارد. روی BRIGHT امتیاز ۸۲.۲ (RCP-nDCG@10) کسب کرده که ۵.۸ واحد بالاتر از Voyage AI Rerank 3 است. تأخیر میانی Pro برای هر درخواست ۹۶ سندی ۱۱.۷ ثانیه و Fast ۴.۱ ثانیه است.

  • قیمت API: Pro ۰.۰۵ دلار و Fast ۰.۰۲ دلار به ازای هر ۱ میلیون توکن
  • Model Vault: ۴.۰۰ دلار به ازای هر ساعت اینستانس (Medium tier)
  • پنجره متنی: ۳۲K توکن، پشتیبانی از بیش از ۱۰۰ زبان
  • در دسترس: Cohere API، Model Vault، Microsoft Foundry، Amazon SageMaker، VPC خصوصی و on-prem
  • یکپارچه‌سازی: LangChain، Haystack، Elasticsearch، Weaviate

نکته مهم: تمام اعداد بنچمارک توسط خود Cohere روی معیار RCP-nDCG@10 (نوعی nDCG توسعه‌یافته توسط Cohere) گزارش شده‌اند و مستقل تأیید نشده‌اند. مدل‌ها بدون وزن باز و بدون نسخه quantized منتشر شده‌اند.

خوانش تحریریه: چه چیزی واقعاً عوض می‌شود؟#

Context Focus اولین بار است که یک reranker در سطح API، پاراگراف‌های مرتبط را با offset برمی‌گرداند. برای کسی که ایجنت جستجو می‌سازد، این یعنی حذف مرحله‌ای که قبلاً باید دستی با chunk-level scoring انجام می‌شد. اما توجه کنید که آستانه ۰.۴ که ۳۴ درصد توکن کم می‌کند، فقط ۱ واحد دقت اضافه می‌دهد — این یعنی مرز بین صرفه‌جویی و از دست دادن کیفیت باریک است و باید روی داده خودتان کالیبره شود.

امتیازهای کالیبره‌شده عملاً ساده‌تر از آن چیزی هستند که به نظر می‌رسند: به‌جای حدس زدن «top-5 کافی است یا top-20؟»، یک آستانه ثابت (مثلاً ۰.۵) در همه دامنه‌ها کار می‌کند. این برای ایجنت‌هایی که باید تشخیص دهند «چیزی پیدا نشد» و به مسیر دیگری بروند، تفاوت عملی دارد.

در مقابل، تأخیر ۱۱.۷ ثانیه Pro برای درخواست‌های ۹۶ سندی، این مدل را برای سناریوهای real-time با حجم بالا عملاً حذف می‌کند. Fast با ۴.۱ ثانیه هم برای ایجنت‌هایی که چند فراخوانی متوالی دارند، گلوگاه ایجاد می‌کند. اگر latency اولویت شماست، هنوز باید بین کیفیت و سرعت انتخاب کنید.

منبع: MarkTechPost