Mistral AI اولین خانواده مدل‌های بنیادین سری زمانی خود را با نام Timestral منتشر کرد. این مجموعه شامل ۴ مدل با ۵M، ۲۸M، ۱۲۳M و ۲۰۹M پارامتر است که همه به‌صورت zero-shot کار می‌کنند؛ یعنی بدون آموزش مجدد روی داده‌ی هدف، پیش‌بینی تولید می‌کنند. بزرگ‌ترین نسخه (۲۰۹M) در سه بنچمارک GIFT-Eval، TIME و fev-bench رتبه اول را در میان مدل‌های از پیش آموزش‌دیده گرفته است.

ساختار و نحوه کار#

Timestral یک ترنسفورمر علّی با معماری patch-based است که دو نوع توجه (attention) دارد: توجه زمانی و توجه متغیری. مدل ۲۰۹M از ۲۴ لایه و بُعد جاسازی ۷۶۸ استفاده می‌کند. هر patch پوشش ۳۲ گام زمانی را دارد و یک گذار جلویی تا ۱,۰۲۴ گام را پیش‌بینی می‌کند؛ برای افق‌های بلندتر، بلوک‌ها پشت‌سرهم اجرا می‌شوند و میانه هر بلوک به‌عنوان زمینه به بلوک بعدی می‌رود.

هر مدل خروجی ۲۱ کوانتیل برای هر گام زمانی تولید می‌کند و پیش‌بینی چندمتغیره را به‌صورت هم‌زمان انجام می‌دهد. ورودی‌ها می‌توانند شامل متغیرهای فقط-گذشته، متغیرهای آینده‌ی معلوم و متغیرهای دسته‌ای باشند.

عملکرد روی CPU#

در آزمون Mistral روی یک CPU سرور استاندارد با ۸ رشته (پیش‌بینی ۱ روز از ۳ هفته داده ۱۵ دقیقه‌ای)، مدل ۵M در ۱۰ میلی‌ثانیه و مدل ۲۰۹M در ۱۴۰ میلی‌ثانیه پاسخ می‌دهد. مدل ۱۲۳M با سه‌چهارم تأخیر، فاصله‌ای کمتر از ۰/۲ درصد با نمره ۲۰۹M دارد.

مقایسه با رقبا#

مدل ۲۰۹M با ۸۳۷ مگابایت وزن (fp32) و مجوز Modified MIT منتشر شده است. TimesFM-3 از Google Research با ۳۳۰M پارامتر و مجوز غیرتجاری، Chronos-2 از Amazon با ۱۲۰M پارامتر و Toto-2.0 از Datadog با ۲/۵ میلیارد پارامتر رقبای اصلی هستند. در GIFT-Eval، نمره MASE مدل Timestral برابر ۰/۶۵۸ است؛ TimesFM-3 عدد ۰/۶۶۷ و Chronos-2 عدد ۰/۶۹۸ گرفته‌اند. در fev-bench، نمره SQL skill برابر ۵۰/۳۹ است در مقابل ۴۸/۹۹ برای TimesFM-3.

دسترسی و وضعیت انتشار#

وزن‌ها از Hugging Face قابل دانلود است (۲۱ مگابایت برای ۵M، ۱۱۱ مگابایت برای ۲۸M، ۴۹۰ مگابایت برای ۱۲۳M). نصب با pip و نیاز به Python 3.10+ و torch 2.4+ انجام می‌شود. نسخه ۲۰۹M در وضعیت Public Preview است و fine-tuning روی داده‌های اختصاصی از طریق Mistral Forge انجام می‌گیرد.

خوانش تحریریه#

مهم‌ترین پیام این خبر برای کسی که همین حالا سیستم پیش‌بینی می‌سازد، حذف نیاز به GPU از مرحله استنتاج است. اگر امروز با Prophet یا ARIMA کار می‌کنید و نمی‌خواهید زیرساخت GPU بخرید، Timestral یک گزینه باز با مجوز MIT است که کیفیت قابل‌مقایسه‌ای با TimesFM-3 ارائه می‌دهد. اما دو نکته را در نظر بگیرید: اول، فاصله نمره ۲۰۹M تا ۱۲۳M عملاً ناچیز است (۰/۰۰۱ در MASE)؛ اگر تأخیر برایتان مهم‌تر از صدم‌درصد دقت است، مدل کوچک‌تر انتخاب منطقی‌تری است. دوم، وضعیت Public Preview یعنی هنوز تعهد پایداری API و پشتیبانی رسمی در کار نیست. برای پروژه‌های پرریسک، فعلاً به‌عنوان ابزار ارزیابی و PoC استفاده کنید، نه ستون تولید.

منبع: MarkTechPost