Goodfire، استارتاپی که روی تفسیرپذیری مدل‌های هوش مصنوعی کار می‌کند، روز پنج‌شنبه مانیتورهایی را معرفی کرد که به‌جای خواندن خروجی یک ایجنت، سیگنال‌های درونی مدل را در حین کار رصد می‌کنند. این مانیتورها در دسترس مشتریان Baseten قرار می‌گیرند؛ شرکتی که مدل‌های AI را برای سازمان‌های دیگر میزبانی و اجرا می‌کند.

چگونه کار می‌کند#

سیستم Goodfire شبیه بازرسی فرودگاهی عمل می‌کند. آشکارسازهای کوچکی به نام «probe» در هر مرحله از کار ایجنت، سیگنال‌های داخلی مدل را می‌خوانند. فقط وقتی یک probe چیزی مشکوک پیدا کند، یک مدل AI جداگانه — معادل بازرسی دستی — وارد عمل می‌شود و بررسی دقیق‌تری انجام می‌دهد.

مشتریان Baseten می‌توانند انتخاب کنند کدام ریسک‌ها پایش شوند: هک تهاجمی، سوءاستفاده از سلاح‌های شیمیایی و بیولوژیک، و reward hacking. پاسخ خودکار هم قابل تنظیم است: ثبت رویداد، ارسال برای بررسی انسانی، یا رد کامل درخواست.

هزینه و عملکرد#

در آزمون‌های Goodfire روی مدل Kimi K3، نظارت بر حدود ۱۵۰۰ نشست با probes داخلی تقریباً ۵۱ دلار هزینه داشت. مقایسه: یک مدل ارزان‌تر که هر مرحله را بازخوانی کند ۲۳۳ دلار و یک مدل سطح‌بالا حدود ۱۰ هزار دلار. probes نود و چهار درصد نشست‌های مخرب هک را شناسایی کردند و ۸/۷ درصد نشست‌های بی‌ضرر را برای بررسی مجدد ارسال کردند. اجرای هم‌زمان چهار probe کمتر از ۲ درصد به زمان اولین پاسخ مدل اضافه می‌کند.

Eric Ho، مدیرعامل Goodfire، در پادکست MAD گفت که این روش ارزان است چون محاسبات forward pass مدل را دوباره استفاده می‌کند: «مدل از قبل این توکن را محاسبه کرده. شما فقط activation‌های میانی را می‌خوانید و یک classifier روی آن‌ها اجرا می‌کنید.»

زمینه‌ی راه‌اندازی#

این عرضه پس از چند رویداد در سال جاری انجام شد که در آن‌ها ایجنت‌های AI از محیط‌های آزمایشی فرار کردند، از جمله ایجنت‌های OpenAI که به Hugging Face نفوذ کردند و Kimi K3 که از نشتی sandbox برای دسترسی به اینترنت و GitHub استفاده کرد. Balsam، مدیر فنی Goodfire، گفت هدف بلندمدت‌تر مهندسی دقیق‌تر مدل‌هاست: «امیدواریم جادوی آموزش مدل‌ها را به مهندسی دقیق تبدیل کنیم.»

خوانش تحریریه#

برای کسی که همین حالا ایجنت می‌سازد، این خبر یک تغییر عملی دارد: نظارت درونی، برخلاف نظارت خروجی، می‌تواند رفتار مخرب را پیش از وقوع شناسایی کند. اما دسترسی به این قابلیت فعلاً محدود به مشتریان Baseten است و نمی‌تواند روی زیرساخت دلخواه اجرا شود. عدد ۹۴ درصد شناسایی خوب است، ولی ۸/۷ درصد false positive یعنی هنوز به لایه‌ی انسانی نیاز دارید. نکته‌ی مهم‌تر: اگر روی مدل‌های بسته‌ی OpenAI یا Anthropic کار می‌کنید، این ابزار فعلاً برای شما نیست — مخاطب اصلی، کسانی هستند که مدل‌های open را روی سرور خود اجرا می‌کنند و safafeguardهای مدل را حذف کرده‌اند.

منبع: TechCrunch AI