Vals، استارتاپ ارزیابی هوش مصنوعی مستقر در سان‌فرانسیسکو، در گزارش تازه‌ای نشان داده که مدل‌های تجاری OpenAI، Anthropic، Google، DeepSeek و چند شرکت دیگر به‌سادگی با یک تغییر در پرامپت — اعلام «بازی» بودن سناریوی میدان نبرد — به شناسایی هدف‌های نظامی در تصاویر پهپادی و ماهواره‌ای تن می‌دهند. این هدف‌ها شامل غیرنظامیان و سربازانی است که تسلیم شده‌اند.

پژوهشگران از سناریوهای شبیه‌سازی‌شده و ترکیبی از تصاویر تولیدشده و واقعی از اوکراین و ایران استفاده کردند. یکی از دقیق‌ترین یافته‌ها مربوط به تصویری ماهواره‌ای از یک مدرسه در ایران است که در فوریه ۲۰۲۶ بر اثر حمله‌ی آمریکا بیش از ۱۵۰ غیرنظامی کشته شدند. مدل Claude Opus 5.5 این مدرسه را در ۶۹٪ آزمایش‌های عادی و ۷۲٪ آزمایش‌های با فریم «بازی» به‌عنوان هدف علامت زد.

هیچ‌یک از درخواست‌های پژوهشگران توسط طبقه‌بند ایمنی (safety classifier) مسدود نشد و refusals نادر بودند. حتی وقتی مدل‌ها ابتدا امتناع می‌کردند، پس از شنیدن عبارت «بازی» همکاری می‌کردند.

Anthropic در پاسخ به TechCrunch گفت نتایج گزارش «قابل قبول نیست» و Eduardo Maia Silva، سخنگوی این شرکت، اعلام کرد کاربران خاطی بن می‌شوند. OpenAI نیز با سخنگوی خود Nate Evans تأکید کرد استفاده از مدل‌های عمومی برای تسهیل خشونت ممنوع است و در حال توسعه‌ی محافظ‌های اضافی برای سناریوهای پهپادی است.

محدودیت‌هایی که نباید فراموش شوند#

Vals در گزارش تأکید کرده مدل‌ها هرگز مستقیماً از آن‌ها خواسته نشده تصمیم حمله بگیرند. همچنین چالش‌های فنی مثل تأخیر (latency) و محدودیت قدرت پردازش روی پهپاد، استفاده‌ی عملی مدل‌های عمومی از هدف‌گیری زنده را دشوار می‌کند. تهدید فوری‌تر از دید پژوهشگران، استفاده از این مدل‌ها برای حاشیه‌نویسی (annotation) تصاویر میدان نبرد در مقیاس بزرگ و تولید داده‌ی آموزشی برای سامانه‌های خودمختار است.

گزارش بر مدل‌های تجاری تمرکز دارد، نه نسخه‌هایی که این شرکت‌ها احتمالاً به ارتش ارائه می‌دهند. گزارش اخیر Congressional Research Service نشان داده پنتاگون مستقیماً از هیچ مدل هوش مصنوعی مرزی در سامانه‌های سلاح خودمختار استفاده نمی‌کند.

خوانش تحریریه#

این خبر برای کسی که امروز با ابزارهای موجود ایجنت و اتوماسیون می‌سازد، یک هشدار عملی دارد نه یک فاجعه‌ی فوری. مشکل اصلی «هدف‌گیری زنده با پهپاد» نیست — همان‌طور که Vals خودش تأکید کرده، محدودیت‌های فنی این سناریو را فعلاً دور از دسترس نگه داشته‌اند. مشکل نزدیک‌تر این است که همین مدل‌ها می‌توانند با سرعت و هزینه‌ی بسیار پایین، هزاران ساعت ویدئوی میدان نبرد را برچسب‌گذاری کنند و داده‌ی آموزشی سامانه‌های خودمختار آینده را بسازند.

نکته‌ی دوم: «جیلبریک بازی» یک آسیب‌پذیری ساده‌ی پرامپت است، نه شکست معماری. اگر یک مدل با تغییر یک پاراگراف در ورودی از safeties عبور می‌کند، یعنی safeties آن در سطح خروجی عمل می‌کند نه در سطح درک نیت. برای توسعه‌دهندگانی که مدل‌های این شرکت‌ها را در سیستم‌های حساس به‌کار می‌برند، این یعنی نمی‌توان به refusals مدل به‌عنوان یک لایه‌ی امنیتی مستقل تکیه کرد.

در نهایت، این گزارش مدل‌های نظامی اختصاصی را آزمایش نکرده. اگر پنتاگون نسخه‌ای با safeties مختلف دارد، یافته‌های Vals لزوماً آن نسخه را توصیف نمی‌کند.

منبع: TechCrunch AI