کوهره خانواده مدل Embed 5 را برای enterprise search، RAG و بازیابی در ایجنت‌ها منتشر کرد. این خانواده دو سطح دارد: Embed 5 Pro برای بالاترین کیفیت بازیابی و Embed 5 Fast برای کاهش تأخیر و هزینه در مسیر کوئری زنده. هر دو ورودی متن، تصویر و ترکیب متن‌به‌تصویر را می‌پذیرند، بیش از ۱۰۰ زبان را پوشش می‌دهند و تا ۱۲۸ هزار توکن را می‌خوانند.

مهم‌ترین تصمیم طراحی این است که Pro و Fast در یک فضای برداری مشترک قرار می‌گیرند. یعنی می‌توان کورپوس را با Pro ایندکس کرد و کوئری‌ها را با Fast تولید کرد. کوهره تمام ترکیب‌های ممکن را روی ۴۰ مجموعه داده آزمایش کرده: Pro+Pro برابر ۱۰۰ نرمالایز شده، Pro ایندکس + Fast کوئری ۹۸/۴ و Fast+Fast برابر ۹۶/۶ نمره گرفته. الگوی پیشنهادی کوهره ایندکس با Pro و کوئری با Fast است. تنها شرط: هر دو طرف باید از همان بُعد خروجی استفاده کنند.

شناسه‌های مدل در API به این شکل‌اند: embed-v5.0-pro و embed-v5.0-fast. ابعاد خروجی ۲۰۴۸، ۱۵۳۶، ۱۰۲۴، ۷۶۸، ۵۱۲ یا ۲۵۶ است (پیش‌فرض ۲۰۴۸). خروجی به شکل float، int8 یا binary برمی‌گردد. قیمت Pro ۰/۱۲ دلار و Fast ۰/۰۸ دلار به ازای هر میلیون توکن متن است. ورودی تصویر در هر دو سطح ۰/۴۰ دلار به ازای هر میلیون توکن محاسبه می‌شود. هر دو سطح روی Cohere API، Model Vault، Microsoft Foundry و Amazon SageMaker در دسترس‌اند و سرویس‌دهی on-prem از طریق vLLM ممکن است.

بنچمارک‌ها و محدودیت‌ها#

روی ViDoRe V3، Pro میانگین ۸۵/۸ گرفته (۸/۸ امتیاز بیشتر از Embed 4). Voyage 4 Large برابر ۸۳/۷، Gemini Embedding 2 برابر ۸۳/۲ و OpenAI text-embedding-3-large برابر ۷۵/۵ است. در حوزه مالی Pro در سه بنچمارک FinanceBench، FinQA و ViDoRe V3 Finance اول شده. اما در زبان‌های غیراروپایی وضعیت متفاوت است: Gemini Embedding 2 در ۹ از ۱۰ زبان (شامل ژاپنی، عربی، هندی و تلوگو) از Pro جلوتر است.

یک نکته مهم: بیشتر اعداد با معیار جدید RCP-nDCG@10 گزارش شده که یک مجموعه کاندید ثابت را بازآرایی می‌کند. این معیار بیشتر کیفیت reranking را می‌سنجد تا first-stage retrieval. کوهره کد ارزیابی را منتشر کرده اما بازتولید مستقل هنوز انجام نشده.

تحلیل: چه چیزی واقعاً تغییر می‌کند؟#

ایده‌ی فضای برداری مشترک بین دو سطح، برای کسی که ایجنت می‌سازد عملی‌ترین بخش این خبر است. در بارهای ایجنتی که ده‌ها جست‌وجو در هر تسک انجام می‌شود، تأخیر کوئری جمع می‌شود. حالا می‌توان یک‌بار با Pro ایندکس زد (هزینه یک‌باره) و در مسیر زنده با Fast کوئری کرد بدون اینکه ایندکس از کار بیفتد. این الگو قبلاً در مدل‌های embedding رایج نبود.

اما دو احتیاط لازم است. اول، بنچمارک‌ها بر پایه معیار جدید خود کوهره‌اند و تا بازتولید مستقل، باید به‌عنوان اعداد فروشنده خوانده شوند. دوم، در زبان‌های غیراروپایی — از جمله فارسی — هنوز هیچ داده‌ای از Embed 5 در دست نیست و ادعای ۱۰۰+ زبان به معنای کیفیت یکسان در همه‌ی آن‌ها نیست.

منبع: MarkTechPost