گوگل ریسرچ از یک سیستم یادگیری فدرال نسل جدید خبر داده که روی محیط‌های اجرایی مورد اعتماد (TEE) ساخته شده و برای نخستین بار تضمین‌های حریم خصوصی DP مرکزی را به‌صورت بیرونی قابل‌تأیید ارائه می‌کند. این سیستم اکنون در Gboard برای آموزش مدل‌های پیش‌بینی کلمه‌ی بعدی به زبان‌های انگلیسی و ژاپنی فعال است.

مشکل چه بود؟#

یادگیری فدرال از ۲۰۱۷ در Gboard، پیام‌رسان گوگل و انتخاب هوشمند متن اندروید به‌کار می‌رود. در سیستم‌های قبلی، دستگاه‌ها داده را برای تجمیع فوراً آپلود می‌کردند اما هیچ‌کس بیرون از گوگل نمی‌توانست تأیید کند داده لاگ یا بازرسی نشده. Secure Aggregation محافظت رمزنگاری افزود ولی با الگوریتم‌های DP مرکزی مدرن مثل matrix factorization DP-FTRL سازگار نبود. همچنین باید به گوگل اعتماد می‌شد که نویز DP را درست اضافه کند.

معماری جدید#

طرح جدید محاسبه‌ی گرادیان سمت کلاینت را به سرور منتقل می‌کند و منطق سرور را قابل‌تأیید (attestable) می‌سازد؛ به‌گونه‌ای که اپراتور سرور دیگر نیاز به اعتماد ندارد. سیستم چهار مؤلفه دارد:

  • آپلود داده: دستگاه‌ها نمونه‌های آموزشی را محلی رمزنگاری می‌کنند و یک دسترسی‌سیاست پیش‌تأییدشده تعریف می‌کنند که مشخص می‌کند کدام محاسبات TEE مجاز به پردازش داده است. سیاست‌ها در لاگر شفافیت عمومی Rekor منتشر می‌شوند.
  • KMS و بررسی سیاست: یک سیستم مدیریت کلید مبتنی بر TEE با پروتکل اجماع RAFT، کلیدها را فقط به کاربارهایی می‌دهد که با سیاست مطابقت دارند.
  • اجرای بار کاری: یک TEE ریشه حلقه‌ی آموزش Python را اجرا و زیروظایف را به TEEهای کارگر واگذار می‌کند. ارکستراسیون از Federated Language (مشتق‌شده از TensorFlow Federated) استفاده می‌کند.
  • بازیابی خطا: هر دور یک وضعیت بازیابی رمزنگاری‌شده ذخیره می‌شود.

تأثیر بر آموزش#

در سیستم قبلی آموزش هر مدل ۱ تا ۲ ماه طول می‌کشید. اکنون گلوگاه به سرور منتقل شده و آموزش روی چند ماشین موازی می‌شود؛ تنها محدودیت، ظرفیت TEE است. گوگل از «سرعت قابل‌توجه» صحبت می‌کند اما عدد مشخصی برای شتاب‌دهی منتشر نکرده. منحنی‌های حریم خصوصی-کارایی از آموزش یک مدل انگلیسی در ۵۰۰۰ دور با دسته‌های ۶۵۰۰ دستگاهی به‌دست آمده‌اند.

خوانش تحریریه#

این خبر بیشتر از آنکه یک جهش فنی باشد، یک تغییر در مدل اعتماد است. تا پیش از این، اگر می‌خواستید از مزایای DP مرکزی استفاده کنید، باید به گوگل اعتماد می‌کردید. حالا می‌توانید بازرسی کنید. اما برای کسی که همین امروز ایجنت یا اتوماسیون می‌سازد، عملاً چیزی عوض نمی‌شود: این زیرساخت هنوز در انحصار گوگل و محدود به Gboard است. نکته‌ی مهم‌تر، بازکردن مسیر DP مرکزی قابل‌تأیید است — اگر NVIDIA FLARE یا Flower نسخه‌های مشابهی ارائه دهند، رقابت حریم خصوصی در یادگیری فدرال وارد فاز جدیدی می‌شود.

منبع: MarkTechPost