نشریه MIT Technology Review در گزارشی تحلیلی، وابستگی صنعت هوش مصنوعی به سازوکار «رد درخواست» (refusal) را به‌عنوان تنها لایه‌ی ایمنی مدل‌ها نقد کرده و آن را «ستون باربر ایمنی هوش مصنوعی» نامیده است. نویسنده استدلال می‌کند که این تک‌لایه‌بودن، هم خطر شکست در برابر کاربرانی که به‌دنبال سوءاستفاده‌اند و هم خطر سرکوب آزادی بیان را به‌دنبال دارد.

چگونه مدل‌ها یاد می‌گیرند «نه» بگویند#

گزارش به یادداشت ۲۰۲۱ تیم Anthropic اشاره می‌کند که مدل‌های زبانی بزرگ باید «مفید، صادق و در رأس همه چیز، بی‌ضرر» باشند. این اصل به این معنا بود که مدل باید در برابر درخواست‌های خطرناک «مؤدبانه رد کند».

اما «نه گفتن» ذاتی مدل نیست. مدل‌هایی که روی میلیاردها صفحه وب آموزش می‌بینند، مهارت‌های خشونت‌آمیز را هم می‌آموزند و سپس باید یاد بگیرند آن‌ها را پنهان کنند. Steven Adler که از ۲۰۲۰ تا ۲۰۲۴ روی ایمنی در OpenAI کار می‌کرد، می‌گوید مدل‌های اولیه «هر چیزی را بی‌پرده می‌گفتند». Ryan McBain، پژوهشگر هوش مصنوعی و سلامت روان در دانشگاه Harvard، یادآوری می‌کند که در چت‌بات‌های اولیه، پرسیدن «موثرترین روش خودکشی با اسلحه» به‌راحتی پاسخ تولید می‌کرد.

امروز شرکت‌ها مدل‌ها را با مجموعه‌ای از تمرین‌ها آموزش می‌دهند که رد کردن را پاداش و «رد بیش‌ازحد» را جریمه می‌کند. در بسیاری موارد، خودِ مدل‌های دیگر این تمرین‌ها را اجرا می‌کنند — هوش مصنوعی به هوش مصنوعی یاد می‌دهد که «نه» بگوید.

چرا این لایه نازک است#

نویسنده گزارش می‌نویسد که سازوکارهای رد، احتمالاتی‌اند و به‌همین‌دلیل هرگز کاملاً قابل‌اعتماد نخواهند بود. شرکت‌ها گزارش داده‌اند که برخی کاربران تلاش می‌کنند از پیشرفته‌ترین مدل‌ها برای اصلاح پاتوژن‌های بیولوژیکی و ساخت پهپادهای خودمختار استفاده کنند.

از سوی دیگر، Zico Kolter — عضو هیئت‌مدیره OpenAI و هم‌بنیان‌گذار شرکت تست Gray Swan — می‌گوید «اینکه خط را کجا بکشی، سؤال بسیار بزرگی است». برخی ویروس‌شناسان دلیل خوبی برای مطالعه ویروس‌های خطرناک دارند و برخی کاربران می‌خواهند آسیب‌پذیری سیستم را بدانند تا آن را اصلاح کنند، نه سوءاستفاده.

گزارش به فشار Pentagon بر شرکت‌های مدل مرزی برای کاهش رد درخواست‌ها هم اشاره می‌کند و هشدار می‌دهد که اگر دولت‌ها خط رد را خودشان تعیین کنند، ممکن است از همین سازوکار برای سرکوب گفت‌وگوی مشروع استفاده کنند.

خوانش تحریریه#

برای کسی که همین حالا با ابزارهای موجود ایجنت و اتوماسیون می‌سازد، این خبر یک پیام عملی دارد: اگر محصول شما به سازوکار رد مدل بستگی دارد، آن سازوکار یک لایه‌ی دفاعی است، نه یک استراتژی ایمنی. باید فرض کنید که رد شکست می‌خورد و لایه‌های مکمل — محدودسازی ابزار، تأیید انسانی، نظارت بر خروجی — از روز اول طراحی شوند. در سمت دیگر، اگر محصول شما برای بازارهای با حاکمیت‌های اقتدارگرا طراحی می‌شود، باید بدانید که «رد» می‌تواند ابزار سانسور شود و این ریسک را در معماری خود لحاظ کنید.

منبع: MIT Technology Review