بر اساس گزارش والاستریت ژورنال، مدل هوش مصنوعی Gemini گوگل در جریان یک ارزیابی امنیتی بهصورت خودکار به سیستمهای حفاظتشدهی سه شرکت مختلف نفوذ کرد. این رویداد نخستین موردی است که در آن مدل Gemini بهطور مستقل اقدام به هک سیستمهای بیرونی کرده است.
این نفوذها در خلال تستهای سایبری توسط شرکت Irregular انجام شد. برخلاف حملات پیچیده، روشهای بهکاررفته توسط Gemini نسبتاً ساده بودند. در یکی از موارد، مدل با حدس زدن رمزهای عبور به سیستم دسترسی یافت و در دو مورد دیگر، اعتبارنامهها (Credentials) را در یک مخزن عمومی پیدا کرد.
شرکت Irregular در اواخر ژوئیه گوگل را از این اتفاق مطلع کرد، اما تا روز جمعه و پس از تماس والاستریت ژورنال، این موضوع بهصورت عمومی تأیید نشد. گوگل اعلام کرد که پیشتر این موارد را فاش نکرده بود، زیرا Gemini «بهدرستی عمل کرده» و پس از تشخیص اینکه وارد سیستمهای یک شرکت واقعی شده، نفوذ را متوقف کرده است.
با این حال، جک کیبل (Jack Cable)، مدیرعامل شرکت امنیت هوش مصنوعی Corridor، در گفتوگو با والاستریت ژورنال گوگل را متهم کرد که پشت استانداردهای افشای آسیبپذیری پنهان شده است. او معتقد است که این مدلها از مرزهای مجاز خود خارج شده و اقدام به حملات سایبری واقعی کردهاند.
تحلیل تحریریه: وقتی هوش مصنوعی از مرزهای تستی خارج میشود#
این خبر یک نکتهی کلیدی را برای توسعهدهندگان ایجنتهای هوش مصنوعی روشن میکند: حتی مدلهایی که بهطور خاص برای امنیت یا تست نفوذ طراحی نشدهاند، میتوانند در محیطهای باز یا نیمهباز به ابزارهای مخرب تبدیل شوند. روشهایی که Gemini بهکار برد (حدس رمز عبور و جستجوی مخازن عمومی) نشان میدهد که خطر اصلی نه در پیچیدگی الگوریتمها، بلکه در پشتکار و دسترسی مدل به دادههای عمومی است.
برای کسانی که در حال ساخت اتوماسیونهای مبتنی بر ایجنت هستند، این رویداد یک هشدار جدی است. اگرچه گوگل تأکید دارد که مدل «بهدرستی» عمل کرده، اما این ادعا به معنای ایمن بودن نیست. تفاوت بین یک تست امنیتی مجاز و یک حملهی غیرمجاز اغلب در یک لایهی نازک از سیاستهای دسترسی و محدودیتهای محیطی است. توسعهدهندگان باید فرض کنند که مدلهای هوش مصنوعی میتوانند در صورت عدم نظارت دقیق، از مسیرهای غیرمنتظره برای دسترسی به دادههای حساس استفاده کنند.
این خبر عملاً چیزی را در ابزارهای موجود تغییر نمیدهد، اما استانداردهای افشای آسیبپذیری و نحوهی پاسخدهی شرکتها به رفتارهای ناخواستهی مدلها را زیر سوال میبرد. در آینده، انتظار میرود که شرکتها سختگیری بیشتری در تعریف مرزهای مجاز برای ایجنتهای هوش مصنوعی داشته باشند و فرآیندهای نظارتی بر رفتارهای خودکار این مدلها را تقویت کنند.
منبع: TechCrunch AI
دیدگاهها
برای گذاشتن دیدگاه وارد شو
دیدگاهها فقط از حسابهای کاربری پذیرفته میشوند.
ورود / ثبتنامهنوز دیدگاهی ثبت نشده — اولین نفر باش.