Google Research فریم‌ورک Agile Deliberation را منتشر کرد؛ ابزاری human-in-the-loop برای ساخت طبقه‌بند تصویر حول مفاهیم ذهنی و مبهم مثل «غذای سالم»، «کلیک‌بیت» یا «اثر هنری الهام‌بخش». این فریم‌ورک با فراخوانی Gemini 2.5 Pro و Gemini 2.5 Flash از طریق API کار می‌کند و به fine-tuning نیازی ندارد. نتایج ارزیابی در مقاله‌ی CVPR 2026 نشان می‌دهد میانگین F1 آن ۱۰.۵ امتیاز بالاتر از zero-shot Gemini 2.5 Flash است.
چگونه کار می‌کند؟#
طراحی Agile Deliberation از مصاحبه با متخصصان content moderation آمده است. این متخصصان ابتدا مفهوم را محدوده‌بندی می‌کنند و سپس روی تصاویر مرزی بازنویسی می‌کنند. فریم‌ورک این فرآیند را به دو مرحله تقسیم کرده:
مرحله اول (Concept Scoping): مفهوم به حداکثر ۳ مفهوم واحد شکسته می‌شود با prompt chaining روی Gemini 2.5 Pro. برای هر واحد، زیرمفاهیم مثبت و منفی پیشنهادی همراه تصاویر بازیابی‌شده نمایش داده می‌شود و کاربر هر کدام را نگه می‌دارد، برمی‌گرداند یا حذف می‌کند.
مرحله دوم (Concept Iteration): به‌جای uncertainty sampling کلاسیک — که با VLMهای generative اعتمادناپذیر است — سیستم تصاویر مرزی معنایی را پیدا می‌کند. این مرحله ۴ گام دارد:
- Gemini 2.5 Flash پرسش‌های مرزی می‌نویسد (مثلاً «سالاد با سس مایونز زیاد»).
- تصاویر حذف تکراری، رمزگذاری و با dictionary learning خوشه‌بندی می‌شوند.
- یک UCB multi-armed bandit خوشه بعدی را انتخاب می‌کند؛ خوشه‌هایی که کاربر مدل را اصلاح کرده یا بازخورد غنی داده اولویت دارند.
- هر تصویر در یک جمله خلاصه می‌شود و کاربر حداقل ۵ تصویر با ابهام مشترک می‌بیند.
کاربر تصاویر را برچسب می‌زند و یادداشت کوتاه درباره اختلاف‌نظر می‌نویسد. یک LLM این یادداشت‌ها را به تعاریف کاندیدا تبدیل می‌کند و به‌روزرسانی greedy بهترین را نگه می‌دارد.
نتایج ارزیابی#
تیم Google به‌جای benchmark ثابت، ۱۸ نشست زنده حدوداً ۹۰ دقیقه‌ای با ۹ شرکت‌کننده بدون تجربه حرفه‌ای moderation برگزار کرد. دو مفهوم «paid to play» (کلیک‌بیت) و «healthy food» بررسی شدند. بازیابی تصاویر روی یک dataset اختصاصی ۱۰۰ میلیونی و WebLI انجام شد.
در مفهوم paid to play، F1 از ۰.۴۸ (zero-shot) به ۰.۵۹ رسید؛ precision ۲۲ امتیاز بالا رفت (۰.۳۵ به ۰.۵۷) اما recall ۱۷ امتیاز افت کرد (۰.۸۰ به ۰.۶۳). در healthy food هم recall حدود ۱۵ امتیاز کاهش یافت.
نحوه اجرا#
مخزن GitHub شامل Demo.ipynb است که مثال healthy food را قدم‌به‌قدم طی می‌کند. به یک Gemini API key نیاز دارد و پیش‌فرض از gemini-2.5-pro و gemini-2.5-flash استفاده می‌کند. یک setup script روی CLIP embeddings از LAION-400M یک FAISS index می‌سازد؛ ۲ shard پیش‌فرض حدود ۲۶۰ MB و هر ۱۰۰ shard حدود ۱۳ GB است. لایسنس Apache 2.0.
خوانش تحریریه: الگوی طراحی است، نه محصول آماده#
برای کسی که همین حالا با ابزارهای موجود ایجنت یا اتوماسیون می‌سازد، Agile Deliberation یک الگوی طراحی است، نه یک سرویس آماده. نکته اصلی این است که framework به‌جای فرض آگاهی کاربر از مرز مفهوم، فرآیند کشف آن مرز را خودکارسازی کرده — و این برای پروژه‌های moderation یا هر طبقه‌بندی ذهنی‌ای که ground truth ثابت ندارد، رویکرد جدیدی است.
اما محدودیت‌ها روشن‌اند: هر مفهوم حدود ۴۵ دقیقه کار دستی برچسب‌گذاری و بازخورد می‌خواهد. افت recall ۱۷ امتیازی در paid to play یعنی دقت بالاتر به قیمت از دست دادن موارد مثبت تمام شده — که در content moderation خطرناک است. framework روی CPU یا GPU اجرا می‌شود ولی index اولیه ۲۶۰ MB و کامل ۱۳ GB است؛ برای محیط‌های محدود مناسب نیست. و مهم‌تر از همه: این یک ابزار پژوهشی است با یک demo notebook، نه یک API یا سرویس آماده. اگر می‌خواهید همین امروز از آن استفاده کنید، باید با FAISS، CLIP embeddings و prompt engineering خودتان دست‌وپنجه نرم کنید.
منبع: MarkTechPost
دیدگاهها
برای گذاشتن دیدگاه وارد شو
دیدگاهها فقط از حسابهای کاربری پذیرفته می‌شوند.
ورود / ثبتنامهنوز دیدگاهی ثبت نشده — اولین نفر باش.