در بهار امسال، هواپیماهای نظامی آمریکا در آسمان پرواز میکردند و آماده اجرای یک عملیات مسلحانه علیه یک کشتی چینی بودند که مقامات بهطور ناگهانی متوجه شدند اطلاعات محرکه این عملیات، محصول «توهم» (Hallucination) یک چتبات هوش مصنوعی است. این خطای فاحش که میتوانست به درگیری نظامی مستقیم با چین منجر شود، در آخرین لحظه شناسایی و عملیات لغو گردید.
گزارش اطلاعاتی مذکور که در جریان جنگ با ایران در دسترس بود، ادعا میکرد کشتی چینی حامل قطعات مربوط به برنامه تسلیحات هستهای است. این اطلاعات غلط توسط یک تحلیلگر در فرماندهی عملیات ویژه (Special Operations Command) تولید شد. این تحلیلگر برای تلفیق دادههای منبع باز با اطلاعات سیگنالی طبقهبندی شده، از یک چتبات هوش مصنوعی استفاده کرد که به اشتباه مانیفست بار کشتی را تفسیر نمود. تحلیلگر سپس برای دومین بار از همان ابزار استفاده کرد تا یافتههای نادرست را در قالب یک خلاصه رسمی تنظیم کند و در کانالهای فرماندهی منتشر سازد.
این رویداد نگرانیهای فزایندهای را در میان مقامات نظامی و کارشناسان مستقل ایجاد کرده است: با تکیه بیشتر تصمیمگیرندگان بر هوش مصنوعی، خطاهای این سیستمها میتوانند پیش از آنکه مورد پرسش قرار گیرند، در زنجیره فرماندهی بالا بروند. پنتاگون هوش مصنوعی را ابزاری برای تسریع «زنجیره کشتار» (Kill Chain) معرفی کرده است، اما همین سرعت میتواند توهمات را با نظارت انسانی ناکافی عبور دهد.
جیک استکلر، پژوهشگر در GovAI و افسر سابق ارتش آمریکا، در پاسخ به TechCrunch تأکید کرد که درک عدم قطعیت ذاتی در مدلهای زبانی بزرگ (LLMs) برای نظامیان حیاتی است. به گفته او، در تصمیماتی که منجر به استفاده از زور میشوند، عواقب مرگ و زندگی در میان است. با این حال، استکلر معتقد است این حادثه باید دلیلی برای افزودن حفاظتهای امنیتی بیشتر باشد، نه بهانهای برای کنار گذاشتن این فناوری.
تحلیل: سرعت در برابر دقت در جنگافزارهای هوشمند#
این خبر نشان میدهد که خطر اصلی در پیادهسازی هوش مصنوعی در حوزههای حساس نظامی، نه خودِ فناوری، بلکه «اتوماسیون تأیید» است. زمانی که یک ابزار هوش مصنوعی هم دادهها را تحلیل میکند و هم گزارش رسمی را قالببندی (Format) مینماید، خطای آن با ظاهر یک سند رسمی و معتبر بستهبندی میشود. برای توسعهدهندگان ایجنتها و اتوماسیونهای سازمانی، این یک هشدار جدی است: هرگز نباید اجازه داد که یک مدل زبانی همزمان در نقش «تحلیلگر» و «تاییدکننده» عمل کند. بدون یک مرحله جداگانه و مستقل برای اعتبارسنجی خروجی (Human-in-the-loop) که ماهیت آن با ورودی متفاوت باشد، خطاهای هوش مصنوعی میتوانند با اعتماد به نفس کامل به سطح تصمیمگیریهای راهبردی نفوذ کنند.
منبع: TechCrunch AI
دیدگاهها
برای گذاشتن دیدگاه وارد شو
دیدگاهها فقط از حسابهای کاربری پذیرفته میشوند.
ورود / ثبتنامهنوز دیدگاهی ثبت نشده — اولین نفر باش.