تیم پژوهشی متشکل از محققان ByteDance Seed، دانشگاه فناوری و طراحی سنگاپور (SUTD)، مؤسسه فناوری جورجیا، M-A-P و TokenWave.AI پروژهای به نام HarnessDev را معرفی کردهاند که هدف آن سنجش توانایی مدلهای زبانی بزرگ (LLM) در نوشتن و بهبود «ابزارهای اجرایی» (Agent Harnesses) است. برخلاف بنچمارکهای سنتی که پاسخ نهایی مدل را میسنجند، HarnessDev کدی که مدل مینویسد را ارزیابی میکند.
در این پژوهش، شش مدل زبانی شامل Opus 4.8، GPT-5.5، Gemini 3.1 Pro، DeepSeek V4 Pro، Qwen 3.7 Max و Seed 2.0 Pro مورد آزمایش قرار گرفتند. فرآیند در دو مرحله انجام شد: ابتدا مدلها باید یک ابزار اجرایی اولیه را از صفر میساختند (Creation) و سپس با دریافت بازخورد اجرا، آن را اصلاح میکردند (Evolution).
عدم تعمیمپذیری تغییرات و وابستگی به بستر اجرا#
یافتههای کلیدی نشان میدهد که تلاش برای بهبود ابزارها نتایج ضدوعلی دارد. در مرحله تکامل، تنها ۳۴ مورد از ۶۴ تغییر اعمالشده، منجر به بهبود عملکرد روی دادههای پنهان (Held-out) شدند. این یعنی بیش از نیمی از اصلاحات پیشنهادی توسط هوش مصنوعی، در شرایط واقعی کارایی ندارند یا حتی باعث افت امتیاز میشوند.
علاوه بر این، کیفیت ابزار ساختهشده به شدت به مدل اجرایی بستگی دارد. برای نمونه، امتیاز Opus 4.8 در وظیفه SWE-Pro هنگام تغییر بستر اجرا از ۶۹.۳ به ۳۳.۰ سقوط کرد. همچنین بخش قابل توجهی از کدهای تولید شده (مانند کلاسهای وضعیت و حافظه) هرگز در حین اجرا فعال نمیشوند که نشاندهنده وجود کدهای مرده در خروجی مدلهاست.
این پژوهش تأکید میکند که اگرچه مدلها در حوزههایی مانند نوشتن متن و آزمایشهای یادگیری ماشین نتایج رقابتی ارائه میدهند، اما در حوزههای پیچیدهتر مانند کدنویسی و جستجو هنوز فاصله زیادی با ابزارهای مهندسیشده توسط انسان دارند.
منبع: MarkTechPost
دیدگاهها
برای گذاشتن دیدگاه وارد شو
دیدگاهها فقط از حسابهای کاربری پذیرفته میشوند.
ورود / ثبتنامهنوز دیدگاهی ثبت نشده — اولین نفر باش.