شرکت Nums AI از انتشار Causilo، یک مدل پایه پیش‌آموزش‌دیده برای پردازش داده‌های جدولی در وظایف طبقه‌بندی و رگرسیون خبر داد. این مدل با ارائه رابط کاربری سازگار با scikit-learn و کدهای متن‌باز تحت مجوز Apache-2.0، در دسترس پژوهشگران قرار گرفته است. طبق گزارش‌های منتشر شده، Causilo در حال حاضر بالاترین امتیاز Elo را در میان مدل‌های منفرد (Single Models) در هر دو وظیفه طبقه‌بندی و رگرسیون در معیار TabArena کسب کرده است.

معماری Causilo بر پایه یادگیری در بافت (In-Context Learning) استوار است. برخلاف روش‌های سنتی، فراخوانی تابع fit در این مدل منجر به به‌روزرسانی وزن‌های پیش‌آموزش‌دیده نمی‌شود؛ بلکه داده‌های آموزش به‌عنوان بافت ذخیره شده و پیش‌بینی‌ها در یک گذر کامل (Forward Pass) انجام می‌گیرد. بر اساس توضیحات Nums AI، این مدل منحصراً روی داده‌های مصنوعی پیش‌آموزش دیده و از هیچ‌یک از مجموعه‌داده‌های TabArena استفاده نکرده است.

در بخش نتایج ارزیابی، Causilo با امتیاز کلی 1792.9 در TabArena رتبه اول را در میان تک‌مدل‌ها به دست آورده و از رقبایی مانند TabFM و EXAONE Tabular پیشی گرفته است. با این حال، زمانی که سیستم‌های ترکیبی (System Ensembles) نیز در محاسبات لحاظ شوند، این مدل در رتبه سوم از میان 88 گزینه قرار می‌گیرد. فاصله امتیازی Causilo با رقبای اصلی در بخش طبقه‌بندی و رگرسیون اندک است و بازه‌های اطمینان آماری در صدر جدول هم‌پوشانی دارند.

از نظر عملکرد و منابع، آزمون‌های انجام شده روی سخت‌افزار NVIDIA H100 نشان داد که Causilo در سرعت آموزش و پیش‌بینی نسبت به مدل‌های TabICLv2 و TabPFN-3 سریع‌تر عمل می‌کند، هرچند مصرف حافظه گرافیکی آن بیشتر است. نسخه 1.0.1 این مدل قابلیت ارائه خروجی‌های کوانتیلی برای رگرسیون را نیز اضافه کرده است. لازم به ذکر است که استفاده از این مدل برای اهداف تجاری یا میزبانی API نیازمند دریافت مجوز جداگانه از شرکت Nums AI است.

منبع: MarkTechPost