بر اساس اندازه‌گیری‌های داخلی شرکت WD، یک کلیپ ویدیویی ۸ ثانیه‌ای که به‌صورت فایلی ۳٫۹۷ مگابایتی با کیفیت 720p به کاربر تحویل داده می‌شود، بیش از ۵۰۰ مگابایت داده در لایه‌ی بک‌اند باقی می‌گذارد. این داده‌ها شامل لاگ‌ها، کش متنی، رندرهای میانی، بکاپ‌ها و سوابق ایمنی هستند — نسبتی ۱۳۰ برابری به اندازه‌ی فایلی که کاربر می‌بیند.

استنتاج، برخلاف آموزش، «بازنشسته» نمی‌شود#

در مدل‌های سنتی زیرساخت هوش مصنوعی، آموزش یک پروژه‌ی مشخص با بودجه‌ی معین و پایان مشخص است. اما استنتاج (inference) به‌صورت پیوسته اجرا می‌شود و هر درخواست چیزی پشت خود باقی می‌گذارد. McKinsey پیش‌بینی می‌کند تقاضای استنتاج با نرخ رشد مرکب سالانه‌ی ۳۵٪ تا ۲۰۳۰ ادامه یابد — در مقابل ۲۲٪ برای آموزش — و بیش از ۴۰٪ کل تقاضای دیتاسنتر را تا پایان دهه تشکیل دهد.

یک کاغذ سفید IDC با حمایت مالی WD که ۷۶۳ مدیر فنی و تجاری را نظرسنجی کرده، نشان می‌دهد حدود ۹۵٪ از پاسخ‌دهندگان در ۱۲ ماه گذشته افزایش حجم داده ناشی از هوش مصنوعی مولد را گزارش کرده‌اند و ۶۱٪ گفته‌اند این افزایش ۲۵ درصد یا بیشتر بوده است. همچنین ۹۶٪ پیش‌بینی می‌کنند به بازیابی سریع‌تر آرشیو برای استنتاج یا RAG نیاز خواهند داشت.

بودجه‌بندی استوریج در کنار GPU#

در گزارش IDC، یک مدیر ارشد محصول در یک ارائه‌دهنده‌ی ابری hyperscale گفته است که چالش اصلی، نگه‌داشتن GPUها در حالت فعال و جلوگیری از زمان بیکاری آن‌هاست؛ چون ساعت‌ها بیکاری GPU به‌سرعت هزینه‌ی سنگینی ایجاد می‌کند. این یعنی اگر هزینه‌ی استوریج سالانه ۲۵٪ رشد کند در حالی که بودجه‌ی محاسباتی رشد چرخه‌ای و قابل‌پیش‌بینی دارد، استوریج از ردیف بودجه‌ای که بیشترین توجه را می‌گیرد پیشی می‌گیرد.

نکته‌ی عملی برای تیم‌هایی که هوش مصنوعی را «محاسبات + یک خط گرد کردن برای استوریج» بودجه‌بندی می‌کنند: در بازه‌ی ۱۲ تا ۱۸ ماه، آن خط گرد کردن به بخش قابل‌توجهی از هزینه‌ی کل برنامه تبدیل می‌شود — درست در زمانی که مدیریت درباره‌ی گسترش تصمیم می‌گیرد.

خوانش تحریریه#

برای کسی که همین حالا ایجنت یا اتوماسیون روی مدل‌های موجود می‌سازد، این خبر یک هشدار عملی دارد و یک محدودیت روشن. هشدار عملی: اگر محصول شما خروجی مولد (ویدیو، تصویر، سند) تولید می‌کند و آن‌ها را لاگ، کش یا بکاپ می‌کند، هزینه‌ی استوریج شما با سرعتی که بودجه‌ی GPU شما پیش‌بینی‌پذیر است رشد نمی‌کند. این یعنی در فاز مقیاس‌دهی، استوریج می‌تواند به‌جای GPU، گلوگاه بودجه‌ای شود که کسی از اول ندیده.

محدودیت روشن: این خبر راه‌حل مشخصی نمی‌دهد. WD و IDC در نقش حامی مالی و مجری نظرسنجی حضور دارند و نتیجه‌گیری‌شان به سمت استوریج‌های کم‌هزینه‌تر (HDD، لایه‌های سرد) متمایل است. برای کسی که RAG روی داده‌های پویا می‌سازد، «لایه‌ی سرد» لزوماً پاسخ نیست؛ چون ۹۶٪ پاسخ‌دهندگان خودشان گفته‌اند به بازیابی سریع‌تر آرشیو نیاز دارند. پس اگر امروز در حال طراحی معماری هستید، سؤال اصلی این نیست که «استوریج گران‌تر شد» بلکه این است: چه داده‌ای واقعاً باید نگه داشته شود، چه مدت، و با چه سرعت دسترسی‌ای.

منبع: MIT Technology Review