کلودفلر در ۹ اکتبر ۲۰۲۶، هشت روز پس از انتشار Clef و Clef-flash، مدل Clef-omni را به‌عنوان عضو چندرسانه‌ای خانواده‌ی مدل‌های تصمیم خود معرفی کرد. این مدل متن، تصویر، صوت و ویدئو را در یک فراخوانی واحد امتیازدهی می‌کند و به‌جای تولید متن، پاسخ‌های نوع‌دار با احتمال برمی‌گرداند.

مشخصات فنی#

Clef-omni یک مدل MoE با ۳۰ میلیارد پارامتر کل و ۳ میلیارد پارامتر فعال است که از Qwen3-Omni-30B-A3B-Instruct پس‌آموزش دیده است. ستون فقرات درک زبانی حفظ شده و مسیر خروجی متن‌به‌گفتار حذف شده است. مدل روی Workers AI با نام @cf/cloudflare/clef-omni در دسترس است و context آن ۶۴,۰۰۰ توکن است. مجوز Apache-2.0 دارد و قیمت میزبانی‌شده‌ی آن ۰٫۱۵ دلار به‌ازای هر میلیون توکن ورودی است.

در self-hosting، روی یک GPU از نوع H200 با حدود ۶۴ گیگابایت حافظه در دقت bfloat16 آزمایش شده است.

محدوده‌ی ورودی‌ها#

  • تصویر: حداکثر ۴ تصویر (PNG، JPEG، WebP) با ۶۴ تا ۱,۰۲۴ توکن هرکدام
  • صوت: حداکثر ۴ کلیپ (WAV، MP3) با ۳۰۰ ثانیه هرکدام، حدود ۷۸۰ توکن به‌ازای هر دقیقه
  • ویدئو: حداکثر ۲ کلیپ (MP4، WebM) با ۶۰ ثانیه هرکدام، نمونه‌برداری ۲ فریم بر ثانیه
  • سؤالات: ۱ تا ۶۴ سؤال در هر درخواست

تأخیر میانه‌ی گزارش‌شده: حدود ۱۳۰ میلی‌ثانیه برای متن، ۱۵۰ میلی‌ثانیه برای تصویر و ۱٫۵ ثانیه برای ویدئوی ۲۱ ثانیه‌ای با صدا.

عملکرد در بنچمارک‌ها#

در دسته‌بندی قصد (intent classification) عملکرد Clef-omni برتر است: macro-F1 برابر ۹۷٫۷ روی CLINC150+OOS و ۹۴٫۸ روی BANKING77. اما در وظایف استدلالی ضعیف‌تر عمل می‌کند: GPQA Diamond برابر ۴۷٫۴ در مقابل ۷۸٫۳ برای Jev، و When2Call برابر ۶۳٫۳ در مقابل ۸۰٫۹۷ برای Jev. در پنج معیار workflow evals شرکت TypeSafe نیز از Clef پایین‌تر است.

تغییرات همزمان در قیمت و سرعت#

در همان به‌روزرسانی، قیمت Clef-flash به ۰٫۰۳۸ دلار کاهش یافت — زیر قیمت Jev (۰٫۰۴۲ دلار). همچنین میزبانی Clef از ۲۶۲ میلی‌ثانیه به ۱۵۲ میلی‌ثانیه (در ۸۰۰ توکن) و از ۶۱۶ به ۳۰۵ میلی‌ثانیه (در ۳,۴۰۰ توکن) رسید؛ یعنی ۱٫۷ تا ۲ برابر سریع‌تر. این بهبودها پس از انتقال به SGLang انجام شد و وزن جدیدی منتشر نشد.

خوانش تحریریه#

مهم‌ترین کاربرد عملی Clef-omni حذف مرحله‌ی تبدیل گفتار به متن و captioning از خطوط لوله‌ی ایجنت‌های چندرسانه‌ای است. اگر در حال ساخت ایجنتی هستید که باید هم‌زمان یک فایل صوتی و یک اسکرین‌شات را ارزیابی کند، این مدل به‌جای دو یا سه فراخوانی جدا، یک فراخوانی می‌خواهد. اما اگر وظیفه‌ی ایجنت شما استدلال عمیق روی متن است — مثلاً تحلیل قرارداد یا تصمیم‌گیری چندمرحله‌ای — این خبر چیزی عوض نمی‌کند؛ Clef متنی همچنان در آن حوزه‌ها قوی‌تر است. محدودیت‌های ورودی (۴ تصویر، ۲ ویدئو، ۶۴ سؤال) هم عملاً سقفی هستند که باید از ابتدا در معماری ایجنت لحاظ شوند.

منبع: MarkTechPost