متا سامانه Catching Just-in-Time Tests یا JiTTests را از فاز نمونه اولیه پژوهشی به زیرساخت تولیدی خود منتقل کرد. این سامانه با استفاده از مدل‌های زبانی بزرگ، تست‌های اجرایی می‌نویسد که هدفشان شکست خوردن روی تغییرات پرخطر کد است. شکست یک تست، مدرک عینی این است که diff مورد بررسی رفتار سیستم را تغییر داده است.

طبق گزارش تیم متا، JiTTests در نیمه اول ۲۰۲۶ موفق شد ۷۴ نقض حریم خصوصی (SEV) را در مرحله diff و پیش از ادغام کد شناسایی کند. در همان بازه، تعداد کل SEVهای حریم خصوصی ۲۰ درصد کاهش یافت. جزئیات روش در مقاله پژوهشی FSE 2026 با عنوان «Just-in-Time Catching Test Generation at Meta» منتشر شده است.

معماری سامانه#

JiTTests روی زیرساخت داخلی متا و در ساعات کم‌بارش شبانه اجرا می‌شود. مدل‌های داوری مورد استفاده در مقاله شامل Llama3.3-70B، Gemini 3 Pro و Claude Sonnet 4 هستند. خط لوله تولیدی پنج مرحله دارد:

  1. هدف‌گیری: انتخاب diffهای پرخطر روز قبل با مکانیزمی مشابه Diff Risk Score متا
  2. تولید تست: دو جریان کاری diff-aware تست‌های نامزد تولید می‌کنند
  3. داوری LLM ensemble: چند مدل زبانی هر تست شکست‌خورده را امتیازدهی می‌کنند
  4. RubFake: فیلترهای قطعی برای حذف false-positiveهای شناخته‌شده
  5. Human-on-the-loop: تصمیم‌گیری درباره تماس با مهندس بر اساس رتبه‌بندی ترکیبی

دو جریان کاری برای تولید تست وجود دارد: dodgy diff که فرض می‌کند هر diff باگ دارد و intent-aware که ابتدا نیت diff را استنتاج می‌کند. بر اساس تحلیل ۲۲,۱۲۶ تست تولیدشده، نرخ weak catch در روش intent-aware برابر ۶.۴ درصد بود، در مقابل ۲.۵ درصد برای dodgy diff و ۰.۸ درصد برای روش قدیمی ACH.

از ۱۹.۵ درصد تا ۶۰ درصد#

در استقرار اولیه، از ۴۱ مورد گزارش‌شده تنها ۸ مورد تأیید شد (۱۹.۵ درصد). اما در گزارش مهندسی اکتبر ۲۰۲۶، مهندسان نرخ true-positive را ۶۰ درصد اعلام کردند. ۵۸۹ مهندس با سامانه تعامل داشتند و ۶۴ درصد آن‌ها مورد تماس قرار گرفتند. فیلترهای RubFake و داوری LLM، بار بازبینی انسانی را ۷۰ درصد کاهش دادند.

JiTTests برای توسعه‌دهندگان بیرونی در دسترس نیست#

متا هیچ کد، مدلی یا API عمومی منتشر نکرده است. سامانه صرفاً روی کدبک‌اند داخلی متا با صدها میلیون خط کد کار می‌کند. اعداد گزارش‌شده خوداظهاری‌شده‌اند و از کدبیس متا استخراج شده‌اند.

خوانش تحریریه#

مهم‌ترین تمایز JiTTests نسبت به ابزارهای بازبینی کد مبتنی بر LLM، اجرایی‌بودن تست‌هاست. یک LLM که diff را می‌خواند و کامنت می‌گذارد، حداکثر به اندازه دقت تفسیرش ارزش دارد. اما تستی که واقعاً اجرا می‌شود و شکست می‌خورد، مدرک رفتاری است. این تفاوت در عمل مهم است، اما محدودیت‌های JiTTests هم جدی‌اند: اعداد خوداظهاری‌شده‌اند، نرخ true-positive از ۱۹.۵ به ۶۰ درصد پریده بدون اینکه سازوکار تغییر مشخص باشد، و زیرساخت کاملاً داخلی است.

برای تیم‌هایی که ایجنت‌های تست‌نویسی می‌سازند، الگوی قابل‌استخراج این است: diff-aware بودن، ensemble داوری، و فیلترهای قطعی برای حذف false-positive. اما بازتولید این الگو بدون دسترسی به مقیاس کدبیس متا و زیرساخت شبانه، نتایج متفاوتی خواهد داشت. عدد ۶۰ درصد را فعلاً به‌عنوان سقف ایده‌آل در محیط داخلی متا بخوانید، نه انتظار برای محیط خودتان.

منبع: MarkTechPost