Sakana AI مقاله‌ای پژوهشی با عنوان Beyond Imitation در مجله TMLR منتشر کرده که یک سیستم بازبینی چندلایه (Multi-Layered Review یا MLR) و یک بنچمارک خطا به نام Contradiction Benchmark را معرفی می‌کند. برخلاف بیشتر روش‌های بازبینی خودکار که بر اساس شباهت به بازبینی انسانی ارزیابی می‌شوند، این پژوهش مستقیماً می‌پرسد: آیا یک بازبین هوش مصنوعی می‌تواند خطای کاشته‌شده در مقاله را پیدا کند؟

ساختار MLR#

سیستم از سه عامل روی مدل‌های آماده (بدون fine-tuning و بدون GPU) تشکیل شده:

  • Appendix Agent (Claude Haiku 3.5): خلاصه‌سازی جزئیات پیوست.
  • Literature Review Agent (Claude Sonnet 4): قرار دادن مقاله در پیشینه پژوهشی با جستجوی وب. اختیاری است.
  • Review Agent (Claude Sonnet 4): اجرای زنجیره سه‌مرحله‌ای الهام‌گرفته از Three-Pass Approach کیشاو.

مرحله اول خلاصه کلی، مرحله دوم شناسایی نقاط ضعف و فرضیات، و مرحله سوم ترکیب خروجی‌ها در قالب Strengths، Weaknesses، Questions، Recommendation و Score. فایل PDF مستقیماً خوانده می‌شود تا شکل‌ها و معادلات حفظ شوند.

نتایج#

بنچمارک شامل ۱,۱۶۴ تناقض کاشته‌شده در ۲۵۷ مقاله از ACL، AISTATS، CVPR، ICML 2025 و NeurIPS 2024 است. MLR با ۴ بازبینی، ۷۳.۴۳٪ از تناقضات سطح صفر (ادعای اصلی) را شناسایی کرد؛ در حالی که بهترین سیستم مقایسه‌شده (AgentReview) فقط ۱۴.۸۱٪ بود. یک بازبینی تکی MLR نیز ۶۰.۷۹٪ خطاهای ادعای اصلی را یافت.

هزینه هر بازبینی حدود ۰.۴۷ دلار است (بدون عامل اختیاری ادبیات). MLR از ۱۸۹,۰۶۲ توکن ورودی استفاده می‌کند — تقریباً نصف AI Reviewer.

روی مقالات واقعی پس‌گرفته‌شده از WithdrarXiv-Check (۲۱۱ مقاله)، نتایج ضعیف‌تر است: ۲۶.۰۷٪ تطابق مشابه و ۱۶.۱۱٪ تطابق دقیق. همبستگی پیرسون با نمرات انسانی روی ICLR 2025 برابر ۰.۵۸۶ است (مرجع انسانی-انسانی: ۰.۷۴۲).

تحلیل تحریریه#

مهم‌ترین پیام عملی این خبر برای کسی که ایجنت پژوهشی می‌سازد این است: انتخاب مدل و طراحی سیستم، هر دو به‌طور مستقل دقت شناسایی خطا را بالا می‌برند. تعویض GPT-4.1 با Claude Sonnet 4 در یک سیستم تک‌پرامپتی، دقت شناسایی خطای ادعای اصلی را از ۱۴.۵۶٪ به ۳۵.۴۰٪ رساند؛ طراحی سه‌مرحله‌ای MLR حدود ۲۵ درصد امتیاز دیگر اضافه کرد. یعنی حتی اگر به Claude دسترسی دارید، صرفاً استفاده از آن در یک پرامپت ساده کافی نیست.

اما فاصله بین بنچمارک و واقعیت هنوز بزرگ است. ۷۳٪ روی تناقضات مصنوعی در برابر ۱۶٪ تطابق دقیق روی مقالات پس‌گرفته‌شده واقعی، نشان می‌دهد که این سیستم برای بازبینی خودکار پژوهش‌های منتشرشده هنوز قابل‌اعتماد نیست. همچنین آسیب‌پذیری در برابر prompt injection پنهان، که در متن اشاره شده، یعنی هنوز نمی‌توان به‌صورت ایمن این سیستم را روی ورودی‌های ناشناخته اجرا کرد.

منبع: MarkTechPost