شرکت ایامدی (AMD) وعده داده است که رندرینگ عصبی با فناوری افاسآر دایموند (FSR Diamond) به کارتهای گرافیک رادئون (Radeon) و کنسولها میآید و اکنون شاهد نشانههایی از این رویکرد جدید از سوی تیم قرمز هستیم. کادر فنی این شرکت به تازگی مقالهای درباره نحوه استفاده از تولید تصویر برای جایگزینی نورپردازی سراسری (Global Illumination) در زمان واقعی منتشر کرده است.
این مقاله روشی را برای تولید نورپردازی واقعگرایانهتر به صورت فریمبهفریم تشریح میکند. عنوان این مقاله «روشنایی مولد با ثبات زمانی به همراه یک مدل نفوذ تکمرحلهای» (Temporally stable generative illumination with a one-step diffusion model) است. مدلهای نفوذ (Diffusion Models) با کار روی یک تصویر نویزدار، اغلب طی چندین مرحله، تصاویر را ایجاد میکنند؛ با این حال، محققان ایامدی (AMD) از مدلی استفاده میکنند که تصویری را در یک مرحله حذف نویز تولید میکند و با استفاده از جزئیات و نورپردازی موجود در یک صحنه، صحنه جدیدی را میسازد. این موضوع برای قابلیت اجرای سریع آن اهمیت زیادی دارد.
ایده این است که چیزی شبیه به نورپردازی سراسری — یعنی نور غیرمستقیمی که از اشیاء بازتاب یافته و محیط اطراف را روشن میکند — از طریق تولید تصویر و به جای تکنیکهای محاسباتی سنگین مانند رهگیری مسیر (Path Tracing) تولید شود.
سئونگیه کیم (SungYe Kim) در یک ویدیوی ارائهشده درباره این مقاله میگوید: «در کار خود تلاش میکنیم تا نورپردازی سراسری را به عنوان یک مسئله تولید تصویر حل کنیم. نورپردازی سراسری همان چیزی است که باعث میشود یک صحنه رندرشده واقعی به نظر برسد و همچنین گرانترین بخش رندرینگ است.»
روش پیشنهادی، فریمی با نورپردازی مستقیم — نوری که مستقیماً از منبع به یک شیء میرسد و بازتاب دیگری ندارد — را به عنوان یک «راهنمای» نورپردازی اولیه به مدل نفوذ، یعنی استیبل دیفیوژن 2.1 توربو (Stable Diffusion 2.1 Turbo) میدهد.
خود این مدل روی یک مجموعه داده مصنوعی متشکل از ۳۱,۰۰۰ فریم از صحنههای داخلی رندرشده در بلندر سایکلز (Blender Cycles) آموزش دیده است که رندرکننده تولیدی رهگیری پرتو بلندر محسوب میشود. هر کدام دارای ۱ تا ۳۰ نور و اشیاء متحرک هستند. به این ترتیب، «مدل طیف وسیعی از شرایط نوری را مشاهده میکند.» فرآیند آموزش شامل اجرای ۵۰ باره این مجموعه داده روی پردازندههای گرافیکی ایامدی اینستینکت امآی۲۱۰ (AMD Instinct MI210) است.
از «سیگنالهای» پراکنده نورپردازی، تابش (Radiance)، متریال و هندسه استفاده میشود تا «تولید با هندسه و نورپردازی هم راستا بماند». فریمی که به مدل نفوذ وارد میشود به گونهای پردازش میشود که مدل را وادار کند به جای سایر جزئیات، روی نورپردازی تمرکز کند. اگر این تکنیک روزی راه خود را به دنیای پربار ویدیوگیم پیدا کند، این مرحله بسیار مهم خواهد بود؛ واکنش عمومی به این دسته از ابزارهای هوش مصنوعی میتواند بسیار چالشبرانگیز باشد.
محققان همچنین از مفهومی به نام انکودر خودکودر متغیر زمانی یا تیویای (TVAE) برای بهبود سازگاری استفاده میکنند. این ابزار از بردارهای حرکت برای همراستا کردن فریم فعلی با فریمهای قبلی استفاده میکند. این روش تاریخچهای از خروجیهای قبلی را ذخیره میکند تا اطمینان حاصل شود که نورپردازی سوسو نمیزند یا بین نسلهای مختلف دچار بههمریختگی نمیشود. این مسئله میتواند با این نوع مدلها به یک چالش تبدیل شود: اجرای مکرر یک کار یکسان نتایج کمی متفاوتی تولید میکند و انسان به محض اجرای آن به صورت بلادرنگ و فریمبهفریم متوجه این موضوع خواهد شد.
نتیجه نهایی با فریم اصلی و فقط با استفاده از نورپردازی مستقیم ترکیب میشود که احتمالا خطاهای احتمالی را کمی نرمتر میکند. پست وبلاگ بیان میکند که این روش «برای موارد استفاده از رندرینگ بلادرنگ با تولید فریمبهفریم مناسب است.»
کیم در این ارائه میگوید در مقایسه با سایر مدلهای مولد، «روش ما سایههای نرم و نور بازتابی را بازیابی میکند، در حالی که مدل RGB↔X محتوایی را توهم میزند که در صحنه وجود ندارد و دیفیوژن رندر (DiffusionRenderer) هندسه را تحریف میکند.»
گفته میشود این مدل با سرعت ۰.۲۹ ثانیه در هر فریم، که تقریباً معادل ۳.۴۵ فریم بر ثانیه است، با رزولوشن ۵۱۲ در ۵۱۲ اجرا میشود. این آزمایش روی کارت آرتیاکس ۳۰۹۰ (RTX 3090) انجام شده است که در مقایسه با سایر تکنیکهای نامبرده بسیار سریع به نظر میرسد، اما نشان میدهد که راه طولانی برای ورود به دنیای بازیها در پیش است. کل این فرآیند همچنین به حدود ۸ تا ۹ گیگابایت حافظه ویدئویی (VRAM) نیاز دارد. به خاطر داشته باشید که این تنها مرحله نورپردازی سراسری است، نه کل خط لوله برای رندر کردن یک فریم.
بنابراین، این فقط شرکت انویدیا (Nvidia) نیست که رندرینگ عصبی را به عنوان مرز جدیدی در گرافیک کامپیوتری بررسی میکند، هرچند که ما از قبل این موضوع را میدانستیم. اوایل امسال، جک هوین (Jack Huynh) از شرکت ایامدی (AMD) مجموعه جدیدی از فناوریهای افاسآر (FSR) را معرفی کرد که آن را افاسآر دایموند (FSR Diamond) نامید. این مجموعه شامل «رندرینگ عصبی نسل بعدی» است که این تحقیق جدید نیز در همین دسته قرار میگیرد؛ در کنار ارتقای مقیاس مبتنی بر یادگیری ماشین بهبودیافته، تولید چند فریم مبتنی بر یادگیری ماشین، بازسازی پرتو و رهگیری مسیر.
نحوه عرضه این فناوریها به گیمرها پس از آماده شدن، موضوعی است که باید به دقت زیر نظر گرفته شود. من مطمئن هستم که تیم قرمز به دقت طوفان به پا شده ناشی از معرفی شتابزده دیالاساس ۵ (DLSS 5) توسط انویدیا — و عقبنشینیها و بازنویسیهای بعدی برای کماهمیتتر جلوه دادن آن برای گیمرها و تبدیل کردنش به ابزاری برای توسعهدهندگان — نگاه کرده و با خود فکر کرده است: «وای، چطور از آن وضعیت جلوگیری کنیم و در عین حال از تمام این تحقیقات بهره ببریم؟»
شایعاتی در حال حاضر درباره کاربرد نورپردازی عصبی توسط ایامدی (AMD) در حال انتشار است، از جمله گزارشی از افشاگر معروف کپلر التو (Kepler_L2) در فرومهای اناندتک (Anandtech). این که آیا این مورد تا حدی به این تحقیق اشاره دارد یا به مرحله پیشرفتهتری در فرآیند توسعه مربوط میشود، قابل اطمینان نیست، اما واضح است که رندرینگ عصبی صرفاً توسط انویدیا (Nvidia) توسعه داده نمیشود.
منبع: pcgamer.com