Datalab بنچمارک OmniParseBench را منتشر کرد: مجموعه‌ای از ۱۶٬۲۸۸ تست بله/خیر روی ۲٬۹۳۷ صفحه از ۲٬۳۴۳ سند که ۹۲ زبان را پوشش می‌دهد. داده‌ها و کد عمومی هستند و نمره‌دهی به‌صورت آفلاین و بدون نیاز به کلید API انجام می‌شود.

ساختار نمره‌دهی#

هر تست یک پرسش بله/خیر دربارهٔ یک صفحه است. نمرهٔ نهایی میانگین سه خانواده است: text، tables و layout. پنج نوع تست این خانواده‌ها را تغذیه می‌کند:

  • present: یک متن، عدد یا فرمول در صفحه ظاهر شده
  • order: متن A قبل از متن B آمده
  • repeat: یک خط دقیقاً N بار تکرار شده
  • table_cell: یک سلول زیر سرفصل‌های مشخص و کنار همسایه‌های مشخص قرار دارد
  • layout_kind: بلوک حاوی یک خط، heading است یا text یا table

هر تست روی پنج محور برچسب‌گذاری می‌شود: structure، rendering، role، script و language. این برچسب‌ها نمرهٔ نهایی را تعیین نمی‌کنند، فقط امکان فیلتر و مقایسهٔ زیرمجموعه‌ها را می‌دهند. برچسب table روی ۶٬۷۶۷ تست در ۱٬۰۰۰ صفحه اعمال شده. انگلیسی ۱۰٬۰۸۹ تست دارد و زبان‌های غیرانگلیسی ۱٬۹۳۱ تست روی ۵۲۹ صفحه.

نتایج اولیه#

در جدول انتشار، Gemini 3.8 Flash با نمرهٔ ۹۲.۹ صدرنشین است. Datalab accurate با ۹۲.۷ دوم و Datalab balanced با ۹۱.۶ سوم. سه سیستم اول فقط ۱.۳ واحد فاصله دارند. Claude Sonnet 5.5 بالاترین نمرهٔ text (۹۳.۱) و tables (۹۵.۴) را دارد، اما نمرهٔ layout آن (۷۷.۵) کل نمرهٔ headline را به ۸۸.۷ پایین کشیده. Reducto در layout با ۹۵.۸ صدر است. Tesseract با ۱۷.۶ در پایین جدول قرار دارد.

Datalab خودش پارسر می‌فروشد و در متن بنچمارک صراحتاً به این تعارض منافع اشاره کرده و از خواننده خواسته وزن آن را در نظر بگیرد. دو مدل (Gemini و Claude) در ساخت برخی تست‌ها استفاده شده‌اند.

نصب و اجرا#

نصب با uv pip install omni-parse-bench انجام می‌شود و به Python 3.11+ نیاز دارد. برای اجرای benchmark کامل باید [benchmark] یا [harness] اضافه شود. اجرای vendorها به کلید API هر فروشنده نیاز دارد. اجراها قابل ازسرگیری هستند.

خوانش تحریریه#

OmniParseBench یک ابزار ارزیابی است، نه یک مدل. تفاوت عملی‌اش با بنچمارک‌های قبلی در دو چیز است: اول، نمره‌دهی آفلاین و بدون قضاوت مدل است؛ یعنی نتیجه به API یا دمای sampling بستگی ندارد. دوم، ساختار برچسب‌گذاری اجازه می‌دهد سؤالات مشخص‌تری بپرسید: «کدام پارسر روی جداول دست‌نویس فارسی بهتر عمل می‌کند؟» به‌جای «کدام پارسر نمرهٔ بالاتری دارد؟»

اما برای کسی که همین حالا پارسر انتخاب می‌کند، این خبر عملاً تصمیم را عوض نمی‌کند. فاصلهٔ ۱.۳ واحد بین سه اول آنقدر کم است که هیچ‌کس بر اساس headline بین آن‌ها انتخاب نمی‌کند. ارزش واقعی این بنچمارک در استفادهٔ شخصی است: اگر مجموعهٔ اسناد مشخصی دارید، همین harness را روی داده‌های خودتان اجرا کنید. Datalab هم دقیقاً همین توصیه را کرده.

منبع: MarkTechPost