Anthropic در فایل اصلاحی S-1/A که دوشنبه منتشر شد، در بخش «عوامل ریسک» دو ادعای تازه اضافه کرد که توجه رسانه‌ها را از ارقام مالی به سمت مسئله‌ای امنیتی معطوف کرد: این شرکت هشدار داده که ممکن است به‌زودی تعریف خودش از خودبهبودی بازگشتی (RSI) را برآورده کند.

در متن فایل آمده که برآوردهای داخلی و انتظارات Anthropic از مدل‌های آینده — نه مدل‌های فعلی — نشان می‌دهد که این شرکت «ممکن است قریب‌به‌یقین» تعریف Responsible Scaling Policy خود از «پیشرفت چشمگیر شتاب‌گرفته ناشی از هوش مصنوعی» را محقق کند. اما شرکت تأکید کرده که هیچ‌یک از مدل‌های فعلی‌اش از این آستانه عبور نکرده و همچنان داده‌های زیربنایی را ارزیابی می‌کند.

Anthropic همچنین دو نکته‌ی مهم را افشا کرده:

  • در گذشته از سیستم‌های هوش مصنوعی برای توسعه‌ی مدل‌های جدید استفاده کرده و جهش‌های توانایی آن مدل‌ها را در لحظه تشخیص نداده است.
  • استفاده‌ی فزاینده از AI در R&D ممکن است سرعت پیشرفت توانایی مدل‌ها را از سرعت توسعه‌ی لایه‌های ایمنی و همسوسازی جلوتر بیندازد.

در بخش دیگری از فایل، Anthropic گفته که «انتظار ندارد بتواند به‌صورت ایمن از Claude برای طراحی و ساخت کاملاً خودکار نسل‌های بعدی مدل‌های مرزی بدون نظارت معنادار انسانی استفاده کند» و در حال بررسی به‌روزرسانی Responsible Scaling Policy است تا انسان‌ها در فرآیند توسعه‌ی مدل‌های مرزی باقی بمانند.

برای کسی که همین حالا ایجنت می‌سازد، این خبر یعنی چه#

اگر امروز با APIهای Anthropic یا هر ارائه‌دهنده‌ی دیگر ایجنت و اتوماسیون می‌سازید، این خبر عملاً چیزی در دسترسی شما تغییر نمی‌دهد. Anthropic خودش تأکید کرده که هیچ مدل فعلی‌اش از آستانه‌ی RSI عبور نکرده است. اما دو نکته‌ی عملی دارد: اول، اگر مدل‌های آینده‌ی Anthropic محدودیت‌های جدیدی در خودبهبودی یا اتوماسیون تحقیقاتی داشته باشند (مثلاً سقفی بر تعداد فراخوانی‌های زنجیره‌ای یا نیاز به تأیید انسانی در چرخه‌های بازآموزی)، این محدودیت‌ها احتمالاً از دل همین Responsible Scaling Policy بیرون می‌آیند. دوم، ادعای اینکه جهش‌های توانایی در گذشته «تشخیص داده نشده» برای کسی که با ابزارهای موجود اتوماسیون می‌سازد، هشدار عملی‌تری است: یعنی حتی سازنده‌ی مدل هم ممکن است در لحظه‌ی انتشار متوجه نشود که مدل چقدر جلو رفته — پس نظارت خارجی و تست‌های مستقل روی رفتار مدل در محیط‌های واقعی اهمیت دوچندان پیدا می‌کند.

منبع: TechCrunch AI