استارتاپ PrismML که توسط گروهی از پژوهشگران موسسه کالتک (Caltech) تأسیس شده است، جدیدترین مدل زبانی کوچک خود با نام Bonsai 2 27B را منتشر کرد. این مدل نسخه فشردهشدهی مدل متنباز و پرکاربرد Qwen3.8 27B (متعلق به شرکت علیبابا) است که با کاهش چشمگیر حجم، قابلیت اجرا روی رایانههای شخصی و حتی گوشیهای هوشمند ردهبالا را فراهم میکند.
مدل جدید PrismML حجم اصلی Qwen را از ۲۷ میلیارد پارامتر به ۵.۹ گیگابایت کاهش داده است. این فرآیند منجر به کاهش ۹ تا ۱۰ برابری نیاز حافظه نسبت به نسخه اصلی شده است. طبق ادعای شرکت، این مدل توانسته است ۹۸ درصد از نمرات تجمعی بنچمارکهای مدل اصلی Qwen را حفظ کند که نسبت به نسخه قبلی خود (Bonsai 1) که در ماه مارس منتشر شد و ۹۵ درصد عملکرد را داشت، پیشرفت محسوب میشود.
تکنیک وزنهای سهتایی#
تکنیک اصلی PrismML برای این فشردهسازی، تغییر در نحوه ذخیرهسازی «وزنها» (Weights) است. در مدلهای معمولی، هر وزن برای ذخیرهسازی به ۱۶ بیت فضا نیاز دارد. اما رویکرد PrismML که «وزنهای سهتایی» (Ternary weights) نامیده میشود، این مقادیر را به سه حالت سادهی +۱، -۱ و ۰ تقلیل میدهد. این سادگی در ذخیرهسازی دادهها باعث میشود فضای مورد نیاز برای مدل به شدت کاهش یابد.
بابک حسبی، مدیرعامل و استاد دانشگاه کالتک، در گفتگو با TechCrunch اشاره کرد که اگرچه دستیابی به ۱۰۰ درصد همارزی در بنچمارکها ممکن است همیشه دشوار باشد، اما کاهش ۲ درصدی عملکرد در کاربردهای واقعی کمتر محسوس خواهد بود. او همچنین پیشبینی کرد که فشردهسازی مدلهای بزرگتر (در رده چند صد میلیارد پارامتر) در آینده نزدیک آسانتر خواهد بود، زیرا فضای بیشتری برای حذف اطلاعات اضافی بدون از دست رفتن هوشمندی وجود دارد.
پریسمال (PrismML) در حال حاضر با سرمایهگذاریهایی از جمله Khosla Ventures و Cerberus Capital فعالیت میکند و ایون استویکا (Ion Stoica)، همبنیانگذار Databricks، نیز به عنوان مشاور به این شرکت کمک میکند. استویکا معتقد است این فناوری به هوشمندی پیشرفته امکان میدهد به صورت رایگان و خصوصی مستقیماً روی دستگاههای کاربران اجرا شود.
منبع: TechCrunch AI
دیدگاهها
برای گذاشتن دیدگاه وارد شو
دیدگاهها فقط از حسابهای کاربری پذیرفته میشوند.
ورود / ثبتنامهنوز دیدگاهی ثبت نشده — اولین نفر باش.