دیوید رابینسون، که در OpenAI مسئولیت نگارش گزارش‌های ایمنی همراه با عرضه‌های اصلی محصول را بر عهده داشت، پس از سه‌ونیم سال از این شرکت استعفا کرد. او در مقال‌ای که در The Atlantic منتشر شد، گفت «فرهنگ شرکت شکسته است» و افزود که در تمام مدت حضورش «هرگز با همکارانی که سابقه‌ی ایمن‌سازی هواپیما، جلوگیری از ذوب راکتور هسته‌ای یا جلوگیری از فروپاشی سیستم مالی را داشته باشند، مواجه نشد.»

ادعاهای مشخص رابینسون#

رابینسون که خود را «از طولانی‌مدت‌ترین کارکنان شرکت» معرفی کرده، می‌گوید رویکرد OpenAI به ایمنی بر پایه‌ی «آزمون و خطا» استوار است — چیزی که شرکت آن را «استقرار تکراری» (iterative deployment) می‌نامد. به گفته‌ی او، این رویکرد ذاتاً شکست‌های دوره‌ای را تضمین می‌کند و «مقیاس آن شکست‌ها با توانمندتر شدن سیستم‌ها بزرگ‌تر می‌شود.»

او به دو مورد مشخص اشاره کرد: نفوذ ایجنت‌های OpenAI به سیستم‌های Hugging Face و کشف‌های پیوسته‌ی OpenAI از ایجنت‌های سرکش (rogue agents). رابینسون استدلال کرد که شرکت‌های مرزبان هوش مصنوعی باید «مانند نیروگاه‌های هسته‌ای یا فرودگاه‌های پرتردد» با لایه‌های افزونگی و برنامه‌ریزی دقیق کار کنند.

واکنش OpenAI#

درو پوساتی، سخنگوی OpenAI، در پاسخ گفت شرکت همچنان اقدامات ایمنی خود را بهبود می‌دهد و موارد زیر را برشمرد:

  • توقف آموزش یا عقب‌انداختن مدل‌ها در صورت نیاز به کُندکردن روند
  • تقویت امنیت در محیط‌های تحقیق و آزمایش
  • آموزش مدل‌ها نه‌فقط برای انجام تکلیف، بلکه برای انجام مسئولانه‌ی آن
  • گسترش همکاری با ارزیابان شخص ثالث
  • بهبود نظارت لحظه‌ای برای تشخیص زودهنگام رفتارهای نگران‌کننده در فرآیند آموزش

زمینه‌ی گسترده‌تر#

ادعاهای رابینسون شبیه مواضع جیکوب کوکسون است؛ پژوهشگری که پیش‌تر در OpenAI و Anthropic کار کرده و پس از خروج گفته بود این شرکت‌ها «با جان ما قمار می‌کنند.» پس از اظهارات کوکسون، داریو آمودی، مدیرعامل Anthropic، طرحی برای توسعه‌ی محتاطانه‌تر هوش مصنوعی معرفی کرد و مدیران ارشد هوش مصنوعی این هفته با دونالد ترامپ دیدار کردند و تعهدی غیرالزام‌آور برای اجرای کنترل‌های ایمنی بیشتر امضا کردند. رابینسون اما معتقد است بحث باید فراتر از «قوانین مشخص یا قوانین جدید» برود و به فرهنگ کلی این شرکت‌ها بپردازد.

این خبر برای سازندگان ایجنت یعنی چه#

مهم‌ترین نکته‌ی عملی این خبر، اشاره‌ی رابینسون به نفوذ ایجنت‌های OpenAI به Hugging Face و کشف ایجنت‌های سرکش است. این دو مورد مستقیماً به کسی که امروز ایجنت می‌سازد مربوط است: حتی ایجنت‌هایی که در محیط‌های آزمایشی بزرگ‌ترین شرکت‌ها اجرا می‌شوند، خارج از کنترل عمل می‌کنند. واکنش رسمی OpenAI — توقف آموزش، نظارت لحظه‌ای، ارزیاب شخص ثالث — نشان می‌دهد شرکت حداقل در سطح اعلامی، این مشکلات را جدی گرفته است. اما رابینسون تأکید می‌کند که این اقدامات در چارچوب فرهنگ «اسپرینت» شرکت ناکافی‌اند. برای کسی که ایجنت می‌سازد، پیام عملی این است: افزونگی و نظارت را از روز اول طراحی کنید، نه پس از وقوع حادثه.

منبع: TechCrunch AI