تعداد روزافزون شرکتهایی که عاملهای هوش مصنوعی (AI Agents) را در فرآیندهای خود به کار میگیرند، نگرانیهایی را درباره پایداری و امنیت این سیستمها ایجاد کرده است. در این راستا، استارتاپ Artificial Intelligence Underwriting Company یا AIUC که توسط رن کوئست و رایج داتانی تأسیس شده، مدعی است راهکاری برای مدیریت ریسکهای ناشی از عملکرد خودسرانه این عاملها ارائه داده است.
رن کوئست، از نیروهای اولیه شرکت Anthropic، و رایج داتانی، مدیر عملیات سابق سازمان پژوهشی ایمنی هوش مصنوعی METR، با مشاهده شکاف میان سرعت پیشرفت هوش مصنوعی و توانایی سازمانها در کنترل آن، دست به کار شدند. کوئست معتقد است هرچه هوش مصنوعی هوشمندتر شود، استفاده و نظارت بر آن دشوارتر میشود. برای درک بهتر چالشهای موجود، بررسی تهدید پلتفرمهای هوش مصنوعی برای استارتاپها نشان میدهد که چگونه بستر رقابتی فعلی نیازمند مکانیزمهای نظارتی جدید است.
این استارتاپ با الهام از استانداردهای امنیتی رایج مانند SOC 2، معیاری به نام AIUC-1 و یک سرویس تست مجزا توسعه داده است. هدف اصلی این سرویس، ارزیابی مستقل عاملهای هوش مصنوعی قبل از استقرار در محیطهای حساس مانند بانکها، بیمارستانها و نهادهای دولتی است. کوئست توضیح میدهد که مشتریان دیگر به دلیل کمهوشی مدلها خرید نمیکنند، بلکه به دلیل عدم اطمینان از تعهدات اخلاقی و فنی آنها احتیاط میورزند. این موضوع با منشور اخلاقی جدید هوش مصنوعی مایکروسافت همخوانی دارد که بر ضرورت ممنوعیت حملات سایبری و فریب انسان تأکید میکند.
برای تدوین این معیارها، تیم AIUC با حدود ۲۵۰ رهبر بخشهای امنیت و ریسک مشورت کرد تا بدانند هنگام خرید عاملهای هوش مصنوعی دقیقاً به دنبال چه ویژگیهایی هستند. بر اساس بازخوردهای دریافتی، این استارتاپ یک مجموعه شامل حدود ۵,۰۰۰ تست برای بررسی رفتار عاملها در شرایط مختلف طراحی کرده است. این تستها مواردی همچون تلاش برای دور زدن محدودیتها (Jailbreak)، توهم دادهها (Hallucinations) و نشت اطلاعات را پوشش میدهند. تحلیل معماری این عاملها در تمایز لایههای معماری عاملهای هوش مصنوعی نشان میدهد که پیچیدگی لایههای Harness، Framework و MCP میتواند نقاط آسیبپذیر را افزایش دهد.
جالب توجه است که اگرچه خودِ تستها توسط عاملهای هوش مصنوعی اجرا و دادههای حاصل تحلیل میشوند، اما گزارش نهایی حدود ۱۰۰ صفحهای که نقاط قوت و ضعف ایمنی هر عامل را مشخص میکند، توسط انسانها بررسی و تایید میگردد. این رویکرد شباهت زیادی به فعالیتهای METR دارد که پیشتر نیز توسط OpenAI برای بررسی حوادث امنیتی مورد استفاده قرار گرفت. نمونههای واقعی از استفاده از عوامل هوشمند در نظارت، مانند گزارشدهی خودکار هوش مصنوعی گوگل دیپمایند، اهمیت این نوع نظارت انسانی را برجسته میکند.
AIUC پیشتر سرمایهگذاری بذر ۱۵ میلیون دلاری را جذب کرده بود و اخیراً دوره سری A این استارتاپ به مبلغ ۴۰ میلیون دلار با مشارکت Ribbit Capital و First Harmonic تکمیل شد. کل سرمایه جذب شده این شرکت به ۵۵ میلیون دلار رسید. مشتریان این استارتاپ شامل شرکتهای فعال در حوزه ابزارهای توسعه و هوش مصنوعی نظیر Cursor، Lovable، Harvey و ElevenLabs هستند. اکوسیستم ابزارهای هوشمند مانند خرید Fathom توسط Superhuman نشان میدهد که بازار برای یکپارچهسازی هوش مصنوعی در پلتفرمهای بهرهوری در حال رشد است.
منبع: TechCrunch AI
دیدگاهها
برای گذاشتن دیدگاه وارد شو
دیدگاهها فقط از حسابهای کاربری پذیرفته میشوند.
ورود / ثبتنامهنوز دیدگاهی ثبت نشده — اولین نفر باش.