Kyutai هفت خودکدکننده ویدیوی خانواده CADRE را منتشر کرد که برای مدل‌های جهانی تعاملی با شرط‌گذاری بر کنش طراحی شده‌اند. هدف اصلی این خودکدکننده‌ها کاهش تأخیر واکنش است: مدل‌های جهانی معمولاً خودکدکننده‌هایی را از تولیدکننده‌های ویدیو از متن وام می‌گیرند که چند فریم را در یک نهان‌بند فشرده می‌کنند و هر کنش کاربر را معطل می‌کنند. CADRE روی یک H100 با دقت bf16 و batch size برابر ۱، نرخ ۲۰ فریم بر ثانیه و تأخیر واکنش زیر ۲۳۰ میلی‌ثانیه ارائه می‌دهد.
معماری و ابعاد#
هر یک از هفت خودکدکننده حدود ۴۷۶ میلیون پارامتر آموزش‌دیده دارد، به‌علاوه یک DINOv3 ViT-B/16 منجمد با ۸۶ میلیون پارامتر. خودِ مدل جهانی ۱.۲ میلیارد پارامتر دارد و ویدیو را در رزولوشن ۲۸۸×۵۱۲ تولید می‌کند. رمزگذاری با فرمت τ×s×s نوشته می‌شود که τ تعداد فریم در هر نهان‌بند و s ضریب فشرده‌سازی مکانی است. در τ = ۸ و نرخ ۲۰ فریم، فقط خودِ قطعه ۴۰۰ میلی‌ثانیه تأخیر اضافه می‌کند؛ آستانه‌ای که انسان تأخیر حرکتی را درک می‌کند حدود ۲۳۰ میلی‌ثانیه است.
رمزگشا یک ترانسفورمر انتشاری علّی با ۲۴ بلوک است که قطعه‌به‌قطعه جریان می‌کند و از طریق تقطیر پیشرونده‌ی خودآموز در ۱ یا ۲ مرحله یاد گرفته است. آموزش روی ۲۳ منبع ویدیوی عمومی با مجموع حدود ۷۶ هزار ساعت انجام شده که وب، رباتیک، رانندگی و ویدیوی بازی را در بر می‌گیرد.
عملکرد در مقایسه#
در یک H100، نسخه CADRE-2×32×32 در ۱۸۵ میلی‌ثانیه واکنش می‌دهد و ۲۳.۴ فریم بر ثانیه پایدار نگه می‌دارد. در مقابل، Wan 2.2 به ۳۱۷ میلی‌ثانیه، LTX-2 به ۴۹۲ و Cosmos به ۶۰۵ میلی‌ثانیه نیاز دارد. DC-AE سریع‌تر است (۱۱۸ میلی‌ثانیه) اما فریم‌به‌فریم کار می‌کند.
در سناریوی رانندگی، FVD نسخه CADRE-2×16×16 برابر ۱۶۲.۶ است در مقابل ۵۹۹.۷ برای Wan 2.2. اما در دست‌کاری رباتیک، ARR نسخه CADRE-2×32×32 به ۰.۴۵ می‌رسد در حالی که Wan 2.2 مقدار ۰.۸۵ دارد — یعنی بدترین نقطه CADRE دقیقاً همان‌جایی است که Wan 2.2 بهترین عمل می‌کند.
محدودیت‌ها#
وزن‌ها با مجوز CC BY-NC 4.0 منتشر شده‌اند، یعنی استفاده تجاری مجاز نیست. کد MIT است. نهان‌بندهای بلند (τ = ۸) درزهای دیدنی بین قطعه‌ها ایجاد می‌کنند. هر مدل جهانی فقط یک محیط را پوشش می‌دهد و اینکه آیا یافته‌ها به مدل‌های عمومی‌تر تعمیم می‌یابند یا نه، باز مانده است.
خوانش تحریریه#
برای کسی که امروز می‌خواهد یک ایجنت تعاملی با مدل جهانی بسازد، CADRE یک چیز عوض می‌کند و یک چیز عوض نمی‌کند. عوض می‌کند: تأخیر واکنش از قلمرو ۴۰۰ میلی‌ثانیه‌ی Wan 2.2 به زیر ۲۳۰ می‌آید و این مرز ادراکی را عبور می‌دهد. عوض نمی‌کند: مجوز غیرتجاری وزن‌ها یعنی نمی‌توانید این را در محصول پولی بگذارید. همچنین ARR پایین در دست‌کاری رباتیک نشان می‌دهد که فشرده‌سازی زمانی شدید هنوز در محیط‌های با کنش دقیق مشکل دارد. اگر پروژه‌تان رانندگی یا ناوبری است، CADRE گزینه جدی است؛ اگر دست‌کاری رباتیک است، Wan 2.2 یا Cosmos هنوز بهتر عمل می‌کنند.
منبع: MarkTechPost
دیدگاه‌ها
برای گذاشتن دیدگاه وارد شو
دیدگاه‌ها فقط از حسابهای کاربری پذیرفته میشوند.
ورود / ثبتنامهنوز دیدگاهی ثبت نشده — اولین نفر باش.