Convai Innovations، سازنده‌ی موتور تصمیم‌گیری متن‌باز Laya، با ۴۲۱ میلیون پارامتر، در یک راهنمای توسعه‌دهنده‌ی منتشرشده در MarkTechPost با جزئیات فنی بررسی شده است. Laya در سپتامبر ۲۰۲۶ به یکی از پرنجوم‌ترین مخازن یادگیری ماشین تبدیل شد و به‌عنوان جایگزینی سریع‌تر و کالیبره‌تر برای مدل Jev از شرکت TypeSafe معرفی می‌شود.

معماری: یک encoder، سه نوع سؤال، صفر توکن خروجی#

Laya یک مدل غیرخودتوالی (non-autoregressive) از نوع System 1 است. برخلاف مدل‌های زبانی متعارف، خروجی متنی تولید نمی‌کند. یک encoder با ۴۲۱ میلیون پارامتر، متن ورودی و مجموعه‌ای از سؤالات نوع‌دار را می‌خواند و در یک forward pass، احتمال هر گزینه را برمی‌گرداند. سه نوع سؤال پشتیبانی می‌شود: انتخاب بین برچسب‌ها (choice)، امتیاز روی یک مقیاس (score)، و پاسخ بله/خیر (noul).

نسخه‌ی نصب‌شده در این راهنما laya==0.3.27 است و چک‌پوینت انگلیسی از مخزن convaiinnovations/laya بارگذاری می‌شود. نویسنده تأکید می‌کند که laya.load به‌طور پیش‌فرض شاخه‌ی main هاب Hugging Face را دنبال می‌کند، بنابراین برای تکرارپذیری باید revision مشخصی pin شود.

یک باگ در دمای از پیش تعیین‌شده#

مهم‌ترین یافته‌ی عملی راهنما، مربوط به دماهای (temperatures) ارسال‌شده با چک‌پوینت است. برای سؤالات انتخابی با ۱۱ یا بیشتر گزینه، دمای از پیش تعیین‌شده ۰٫۱۰ است — عددی که خارج از بازه‌ی معتبر قرار دارد. لودر آن را به ۰٫۵ clamp می‌کند و هشدار می‌دهد. از آنجا که دمای زیر ۱ احتمال‌ها را تیز می‌کند، هر پاسخ به سؤالی با این تعداد گزینه، دو برابر مطمئن‌تر از آنچه مدل خام است، به نظر خواهد رسید.

آزمایش روی داده‌ی برچسب‌دار واقعی#

به‌جای تکرار مثال‌های README، راهنما روی دامنه‌ی بانکی مجموعه‌داده‌ی CLINC150 اجرا شده و موارد زیر اندازه‌گیری می‌شود:

  • دقت zero-shot در مقایسه با یک طبقه‌بند آموزش‌دیده
  • حساسیت به ترتیب و نگارش گزینه‌ها
  • صداقت احتمال‌های ارسال‌شده (calibration)
  • تأثیر برازش دما روی داده‌ی اعتبارسنجی
  • سقف امتناع (abstention gate) متناسب با بودجه‌ی خطا
  • رفتار با ترافیک خارج از دامنه
  • خروجی‌های نوع‌دار از schema پایانتیک

این خبر برای کسی که ایجنت می‌سازد چه معنایی دارد#

Laya یک الگوی معماری جالب است: حذف کامل autoregressive decoding از مسیر تصمیم‌گیری. برای routerها و طبقه‌بندهای درون‌سیستمی که فقط نیاز به یک احتمال دارند، این رویکرد از نظر سرعت منطقی است. اما دو نکته عملی وجود دارد. اول، باگ دما نشان می‌دهد که حتی در یک پروژه‌ی متن‌باز با ۴۲۱ میلیون پارامتر، مقادیر از پیش تعیین‌شده می‌توانند خارج از بازه‌ی معتبر باشند — اگر از Laya در محیط تولید استفاده می‌کنید، حتماً دماهای خودتان را روی داده‌ی اعتبارسنجی برازش کنید. دوم، این مدل هنوز در مرحله‌ی راهنمای توسعه‌دهنده است؛ نه یک سرویس با SLA و نه یک محصول با پشتیبانی تضمین‌شده. مقایسه‌ی آن با Jev از نظر سرعت و calibration یک ادعای سازنده است، نه یک نتیجه‌ی مستقل.

منبع: MarkTechPost