OpenAI در ۱۶ نوامبر ۲۰۲۶ مجموعه‌ای از ابزارها و سیاست‌های جدید را برای مقابله با محتوای سوءاستفاده جنسی از کودکان (CSAM) معرفی کرد. مهم‌ترین بخش این بسته، یک image classifier جدید است که تصاویر CSAM — از جمله تصاویر تولیدشده با هوش مصنوعی — را شناسایی می‌کند و از طریق API به‌صورت رایگان در اختیار شرکت‌های منتخب قرار می‌گیرد.

عملکرد classifier در تست اولیه#

OpenAI این classifier را با مشارکت NCMEC (National Center for Missing and Exploited Children) توسعه داده و با همکاری Tech Coalition و ROOST دسترسی به آن را به‌اشتراک می‌گذارد. در تست‌های اولیه با شرکا، classifier در مقایسه با روش‌های قبلی ۴۸ درصد تصویر کمتری را به‌عنوان مشکوک علامت‌گذاری کرده، در حالی که همان تعداد تصویر سوءاستفاده‌آمیز را یافته است. همچنین تصاویر علامت‌گذاری‌شده دو برابر احتمال بیشتری دارد که واقعاً سوءاستفاده‌آمیز باشند — یعنی دقت بالاتر با حجم کار کمتر برای بازبینان.

هشدار و مسدودسازی در ChatGPT#

OpenAI صفحه‌های هشدار جدیدی به ChatGPT اضافه می‌کند. اگر کاربری درخواست محتوای جنسی‌سازی‌شده‌ی کودکان را وارد کند، سیستم هشدار نشان می‌دهد، کاربر را به منابع حمایتی متخصص هدایت می‌کند، و حساب کاربری را ۲۴ ساعت موقتاً مسدود می‌کند. تکرار تخلف می‌تواند منجر به حذف دائمی حساب شود. ChatGPT از قبل محتوای CSAM را مسدود می‌کرد، اما حالا لایه‌ی بازدارندگی و ارجاع به کمک حرفه‌ای هم اضافه شده است.

ابزارهای پلیس و راهنمای توسعه‌دهندگان#

OpenAI همچنین راهنمای جدیدی برای توسعه‌دهندگانی که از ابزارهای این شرکت استفاده می‌کنند منتشر کرده تا پیشگیری، تشخیص و گزارش CSAM را پیاده کنند. برای نهادهای قانون‌گذار، پلاگین‌های اختصاصی، ابزارهای تحقیقاتی و قابلیت‌های تحلیل داده با دسترسی مدیریت‌شده توسط مدیران برنامه فراهم شده است. آموزش و یک field guide هم در اختیار بازپرس‌ها قرار می‌گیرد.

بافت خبری: فشارهای حقوقی و رقابتی#

این اقدام در شرایطی انجام می‌شود که OpenAI با چندین شکایت مرتبط با آسیب به کاربران — به‌ویژه کودکان — مواجه است. سازمان غیرانتفاعی Common Sense Media فناوری OpenAI را برای نوجوانان «ریسک غیرقابل‌قبول» نامیده و چت‌بات Grok هم در تولید تصاویر جنسی‌سازی‌شده‌ی غیررضایت‌آمیز، از جمله از کودکان، مورد استفاده قرار گرفته است. OpenAI در ۱۲ ماه گذشته safety blueprint منتشر کرده، guidelines محتوا را به‌روزرسانی کرده، مدل را برای جلوگیری از تولید محتوای مضر تنظیم مجدد کرده، و نسخه‌ی ویژه‌ی ChatGPT برای نوجوانان را عرضه کرده است.

خوانش تحریریه: این خبر برای کسی که ایجنت می‌سازد یعنی چه؟#

اگر شما با ابزارهای OpenAI ایجنت یا اتوماسیون می‌سازید، classifier رایگان از طریق API یک لایه‌ی دفاعی آماده است که قبلاً باید خودتان از صفر می‌ساختید یا از سرویس‌های پولی شخص ثالث می‌خریدید. اما نکته‌ی عملی اینجاست: «select companies» یعنی هنوز دسترسی عمومی نیست و باید مشخص شود معیار انتخاب چیست. برای کسی که روی ChatGPT ایجنت می‌سازد، لایه‌ی ۲۴ ساعته‌ی suspend و ارجاع به منابع حمایتی یعنی رفتار ایجنت شما هم تحت این سیاست قرار می‌گیرد و اگر ایجنتی به‌طور خودکار درخواست‌های حساس را پاس می‌دهد، ممکن است به‌جای پاسخ، مسدودسازی دریافت کند. در سطح اکوسیستم، این خبر بیشتر بازتاب فشار قانونی و رقابتی است تا یک جهش فنی؛ classifier با ۴۸ درصد کاهش هشدارهای نادرست عدد خوبی است، اما هنوز جایگزین بازبینی انسانی نیست و OpenAI هم این را «indicative direction» می‌نامد نه تصمیم نهایی.

منبع: TechCrunch AI