نیک کاماراتا، پژوهشگر استارتاپ Goodfire، در پستی ۲۶ هزار کلمه‌ای ادعا کرد مدل‌های زبانی بزرگ (LLM) آن‌قدرها که تصور می‌شد غیرقابل‌فهم نیستند و ممکن است منطقی پنهان داشته باشند. این متن که در MIT Technology Review بازتاب گسترده‌ای یافت، هم‌زمان جشن و تردید جدی در جامعه‌ی پژوهشی ایجاد کرد.

مثال عصبی که گربه و ماشین را با هم فعال می‌کرد#

کاماراتا در سال ۲۰۲۰ همراه همکارانش در OpenAI روی مدل تشخیص تصویر Inception v1 کار می‌کرد. در آن آزمایش، یک نورون هم به تصاویر گربه و هم به تصاویر ماشین پاسخ می‌داد. نتیجه‌گیری اولیه این بود که مدل مفاهیم نامرتبط را در یک نورون «تا» می‌کند — پدیده‌ای که «superposition» نام گرفت و پایه‌ی این باور شد که شبکه‌های عصبی گره‌خورده و غیرقابل‌بازگشایی‌اند.

اما کاماراتا حالا می‌گوید آن نورون گیج نبود؛ در واقع در حال تشخیص شکل «V» بود. به قول خودش: «ما داشتیم اشتباه نگاه می‌کردیم.» او می‌گوید سال‌ها صرف تماشای نورون‌ها کرده — روزی ۱۰ ساعت، هفت روز هفته، در بیشتر یک سال اخیر — و ابزارهای جدیدی ساخته تا با کمک ایجنت‌های هوش مصنوعی داخل شبکه‌ها را ببیند.

واکنش منتقدان: «فقط یک حدس است»#

کریس پاتز، پژوهشگر دانشگاه استنفورد که تیمی برای فهم مدل‌های زبانی بزرگ هدایت می‌کند، گفت: «تا جایی که می‌توانم بگویم، هیچ‌چیز در این پست مسئله را آسان‌تر نمی‌کند.» او افزود که افراد برجسته‌ای در شبکه‌های اجتماعی آن را «شکستی فراگیر» خوانده‌اند، در حالی که به نظر او چیزی بیش از یک حدس نیست.

کاماراتا خودش پذیرفت که مردم یافته‌هایش را بیش از حد تفسیر کرده‌اند، اما استدلال کرد جامعه‌ی ایمنی هوش مصنوعی که از بدبینی خسته شده، به یادآوری نیاز داشت که فهم این سیستم‌ها لزوماً ناممکن نیست.

خوانش تحریریه#

این خبر برای کسی که همین حالا با ابزارهای تفسیرپذیری کار می‌کند، تغییر عملیاتی ایجاد نمی‌کند. نکته‌ی اصلی این است که ادعای کاماراتا هنوز در سطح «مشاهده‌ی فردی با ابزار شخصی» است، نه یک روش تکرارپذیر با نتایج کمی. مثال شکل V قانع‌کننده است، اما یک نورون در یک مدل کوچک تصویربرداری، فاصله‌ی زیادی با مدل‌های زبانی میلیاردها پارامتری دارد که در عمل با آن‌ها سروکار داریم. منتقدان درست می‌گویند: هنوز کمتر از ۰/۰۱ درصد از کارکرد مدل‌های برتر فهمیده شده و یک پست ۲۶ هزار کلمه‌ای آن عدد را تغییر نمی‌دهد. اما اگر واقعاً الگوی ساده‌تری پشت پدیده‌ی superposition وجود داشته باشد، ابزارهایی که امروز برای «باز کردن گره» ساخته می‌شوند ممکن است از اساس اشتباه طراحی شده باشند. این احتمال، حتی اگر ضعیف باشد، ارزش پیگیری دارد.

منبع: MIT Technology Review