ساتیا نادیلا، مدیرعامل مایکروسافت، صبح شنبه در پستی در شبکهٔ اجتماعی X نوشت که زمان آن رسیده «به عقب برگردیم و معماری اعتماد هوش مصنوعی را ارزیابی کنیم». او چهار شرط مشخص برای ایمن‌سازی مدل‌ها مطرح کرد که در عمل، ساختار فعلی بسیاری از سامانه‌های عامل‌محور را به چالش می‌کشد.

شرط‌های نادیلا برای ایمن‌سازی مدل‌ها#

مدیرعامل مایکروسافت نوشت که «نمی‌توان هوش فوق‌العاده (Super Intelligence) را مجموعه‌ای از جعبه‌های سیاه تودرتو در نظر گرفت و صرفاً توصیه‌ها، پاسخ‌ها و اقداماتش را پذیرفت یا رد کرد». او در ادامه چهار خواستهٔ مشخص مطرح کرد:

  • جداسازی مدل از «هarness» — یعنی لایه‌ای که کار مدل را هماهنگ و اجرا می‌کند.
  • برون‌سپاری کنترل‌ها و موانع ایمنی (safeguards) از خود مدل.
  • ثبت «هر اقدام معنادار مدل» با «شواهد غیرقابل‌دستکاری و قابل‌خواندن برای انسان».
  • وجود مسیری که در آن «فرد مجاز» همیشه بتواند مدل را «در میانهٔ یک کار متوقف یا خاموش کند».

نادیلا افزود: «باید فرض کنیم مدل از ابتدا به‌خطر افتاده است و آن را مهار کنیم. مثل یک ترمز اضطراری فکر کنید.»

زمینهٔ اظهارنظر#

این اظهارات در حالی مطرح می‌شود که شرکت‌های پیشرو هوش مصنوعی به‌تدریج موارد بیشتری را می‌پذیرند که در آن‌ها کنترل مدل‌هایشان از دستشان خارج شده است. همچنین پیش از این، داریو آمودئی، مدیرعامل Anthropic، طرحی برای توسعهٔ محتاطانه‌تر هوش مصنوعی منتشر کرده بود.

نکتهٔ جانبی: نادیلا در این پست از اصطلاح «Super Intelligence» استفاده کرد — واژه‌ای که دولت ترامپ ترجیح می‌دهد و جایگزین «AGI» به‌کار می‌رود.

برای سازندگان ایجنت چه معنایی دارد؟#

اگر همین حالا در حال ساخت ایجنت یا سامانهٔ خودکارسازی هستید، خواسته‌های نادیلا عملاً توصیف چیزی است که در بیشتر فریم‌ورک‌های موجود غایب است. در حال حاضر، لایهٔ ارکستراسیون (تصمیم‌گیری، فراخوانی ابزار، اجرای زنجیره‌ای) معمولاً درون همان سیستمی قرار دارد که مدل را اجرا می‌کند؛ یعنی «کنترل» و «محتوا» یکی‌اند. پیشنهاد نادیلا این تفکیک را الزامی می‌کند: مدل فقط مدل باشد، و یک لایهٔ بیرونی مستقل تصمیم بگیرد کدام اقدام مجاز است، چه چیزی ثبت شود، و کی دکمهٔ توقف را بزند.

اما هنوز هیچ الزام قانونی یا استاندارد فنی مشخصی پشت این خواسته نیست. نادیلا مدیرعامل بزرگ‌ترین فروشندهٔ مدل‌های زبانی از طریق Azure است؛ یعنی کسی که هم‌زمان هم ذی‌نفع است و هم ناظر. این را باید در کنار حرف‌هایش گذاشت. با این حال، اگر واقعاً می‌خواهید ایجنتی بسازید که در محیط تولید قابل‌دفاع باشد، چهار شرط او — به‌ویژه ثبت غیرقابل‌دستکاری و kill switch خارجی — الگوی عملی خوبی است، مستقل از اینکه نادیلا چرا این را گفته.

منبع: TechCrunch AI