یک راهنمای فنی جدید منتشر شده است که فرآیند ساخت و آموزش یک مدل Neural Radiance Field به صورت سلسلهمراتبی را با استفاده از اکوسیستم JAX توضیح میدهد. این پروژه که بر پایهی کتابخانههای Flax و Optax بنا شده، از قابلیتهای Volumetric Rendering ارائهشده توسط jax3d استفاده میکند تا بتواند تصاویری با زاویه دید جدید (Novel-View Synthesis) و ساختارهای سهبعدی دقیق تولید کند.
در این پیادهسازی، فرآیند یادگیری ماشین با ایجاد یک مجموعه داده مصنوعی چندنمایی آغاز میشود. برای این کار، از توابع sample_along_rays و volume_rendering استفاده شده است تا فرآیند رندر مستقیم (Forward Rendering) شبیهسازی شود. معماری شبکه عصبی شامل رمزگذاری موقعیتی (Positional Encoding)، اتصالات پرش (Skip Connections) و دو شبکه مجزا برای مراحل «خشن» (Coarse) و «ظریف» (Fine) است. همچنین شرطیسازی جهت مشاهده (View-direction conditioning) برای افزایش دقت رنگبندی اعمال شده است.
یکی از بخشهای کلیدی این روش، نمونهبرداری اهمیت سلسلهمراتبی است که از طریق تابع sample_piecewise_constant_pdf انجام میشود. این تکنیک به مدل اجازه میدهد نقاط مهمتر در فضای سهبعدی را با دقت بالاتری پردازش کند. آموزش مدل با بهرهگیری از کامپایل JIT در JAX، بهینهساز Adam و کاهش نمایی نرخ یادگیری انجام گرفته است.
ارزیابی نهایی عملکرد مدل با معیارهای آماری PSNR، نمایش بصری عمق و شفافیت، و استخراج هندسه از طریق الگوریتم Marching Cubes صورت گرفته است. همچنین گزارشها نشان میدهند که این پیادهسازی قابلیت تولید رندرهای ۳۶۰ درجه را دارد. توجه داشته باشید که این کد به گونهای طراحی شده که اگر سختافزار GPU در دسترس نباشد، پارامترها را به حالت مناسب برای پردازنده مرکزی (CPU) تغییر دهد تا اجرای آن ممکن شود.
منبع: MarkTechPost
دیدگاهها
برای گذاشتن دیدگاه وارد شو
دیدگاهها فقط از حسابهای کاربری پذیرفته میشوند.
ورود / ثبتنامهنوز دیدگاهی ثبت نشده — اولین نفر باش.