(论文)[2022-SIG] Deep Adaptive Sampling and Reconstruction using Analytic Distributions
Deep Adaptive Sampling and Reconstruction using Analytic Distributions
Deep Adaptive Sampling and Reconstruction using Analytic Distributions
提出了一个适应性采样+重建图片的框架并给出了一个算法;是一个迭代算法,分为初始化和适应性采样两个阶段;适应性采样节点,每次迭代,对于每一个像素,根据生成的样本从预定义的若干个(5-8)Gaussian Filter 中找到最优的 Filter,然后根据 Filter 的结果再去重新分配光线(可以理解为更新 sampling map),直到资源用尽迭代结束。
在适应性采样+重建任务中引入了 SURE,如此能够使用各向异性的核函数(之前的 GEM 工作只能各向同性的 Gaussian),提高了质量;同时 SURE 还能指导适应性采样;核函数包括交叉双边滤波函数、各向同性高斯、cross non-local means filter;D 函数的设计,能够高效处理 distributed effects(论文将这一点也作为主要贡献之一)
DASR 等基于神经网络的 AS+ReCon 工作,在生成 sampling map 的时候只依赖于 1 spp noisy 图片,对于降噪后的图片方差则没有太多考虑;论文提出了一种根据降噪输入数据的方差估计降噪后输出的方差的方法,然后根据输出的方差去引导 AS,取得了更好的效果;论文方法能够很好的与最近的方法结合,也不需要额外的网络;论文使用的降噪器是 Intel 预训练的的 OIDN
联合优化适应性采样+降噪;第一次在适应性采样中引入神经网络(UNet 架构);解决了两个训练问题(renderer 梯度传播、迭代过程中需要渲染很多适应性采样的图片);开销约 10ms(GTX 1080Ti)
神经适应性采样;在之前工作 DASR(联合优化适应性采样和降噪)的基础上加上了层次核函数预测、循环模块,提高了照片质量和时间上的稳定性;可泛化;DASR 为了让渲染结果对采样图可微,做了一个近似
PM 方法的改进,找到着色点最近的 k 个光子,将其输入神经网络,神经网络输出他们的权重;相当于是用神经网络估计了一个 kernel estimation 的函数;通过将输入进行编码,能够实现跨场景的泛化性;这个也是一个一条光线只需要过一次神经网络的方法
神经阴影贴图;通过将光源大小编码进输入,能够实现一个网络同时输出软硬阴影;类似 noise2noise 的学习,设计 loss,提高了时间上的稳定性;通过简化 UNet 架构实现实时性(<5ms);针对不同场景的最大半影大小,可以使用不同深度的网络;通过微扰,挑选出对结果影响最大的 4 个通道作为网络输入(减少了输入的通道数,原来 13)
引入了 diffusion 的神经采样,离线训练(单材质训练 3-3.5h)、实时推理(50ms pytorch、5ms vulkan);使用 diffusion 模型进行了更好的 BSDF 近似;通过转换 BSDF 定义域(disk -> sphere),实现了 grazing angle/specular 材质的更好近似,能够处理透射现象
ResTIR 加速