(论文)[2023-SIG-Course] A Gentle Introduction to ReSTIR: Path Reuse in Real-time (3)

• 目录

ReSTIR

• 主页
• update：March 4, 2024

06-ReSTIR Path Tracing

• 路径空间积分形式
  • 从 DI 扩展出来

$$L({\mathbf{x}}_1\to {\mathbf{x}}_0)=\sum _{D=2}^{\mathrm{\infty }}{\int }_{{\mathcal{A}}^{D-1}}(\prod _{j=1}^{D-1}{f}_s({\mathbf{x}}_{j+1}\to {\mathbf{x}}_j\to {\mathbf{x}}_{j-1})G({\mathbf{x}}_j\leftrightarrow {\mathbf{x}}_{j+1})V({\mathbf{x}}_j\leftrightarrow {\mathbf{x}}_{j+1}))L_e({\mathbf{x}}_D\to {\mathbf{x}}_{D-1})\mathrm{d}{\mathbf{x}}_2\dots \mathrm{d}{\mathbf{x}}_D$$

• 路径：$D-1$ bounce

$$[{\mathrm{x}}_0,{\mathrm{x}}_1,{\mathrm{x}}_2,{\mathrm{x}}_3,\cdots ,{\mathrm{x}}_D]$$

RIS with a path tracer

• NEE 开启之后，会形成 path tree
  • RIS：选取一整条路径 $X_i$
• 只考虑 NEE 的 RIS
  • RIS 过程：重新采样一条光路 $X\in \{X_2,X_3,X_4,X_5\}$（$X_1$ 表示整条光路）
  • $w_i=m_i(X_i)\hat{p}(X_i)W_{X_i}$
    • $m_i(X_i)=1$，互斥，形成的光路长度不一样，属于不同的路径子空间
      • 例如 $X_1$，光路长度为 3
    • $\hat{p}(X_i)=f(X_i)$、$W_{X_i}={\displaystyle \frac{1}{p(X_i)}}$：这些在 PT 框架下都有容易获取

• 如果考虑所有的光路作为 RIS 的候选，则需要考虑一条路径可能同时被 NEE、BSDF（常规 PT）采样得到
  • 那么 $m_i(X_i)$ 此时 $\le 1$
  • 例如下图中，$X_4,X_5$ 的 mis 将会 <1
    • $X_5$ 是 BSDF sample

$$m_i(X_5)=\frac{p_{\text{BSDF}}(X_5)}{p_{\text{BSDF}}(X_5)+p_{\text{NEE}}(X_5)}$$

Reuse path samples

• 最简单的方式：identity shift（area measure）

$$T([x_0,x_1,x_2,\dots ,x_D])=[y_0,y_1,x_2,\dots ,x_D]$$

• 重连 $y_1,x_2$
  • 重新计算 BSDF 贡献、几何项、可见性项（发射 shadow ray）
• biased 版本：加速、减少内存开销
  • 认为 $\overline{x_2{y}_1}$ 近似等于 $\overline{x_2{x}_1}$：少数情况下效果不错
• specular 的复用问题很大

Good shift mapping

• good：假定每一个像素都有一个比较好的重要性采样 $p_X\approx \overline{p}$，理想的形式应该是 shift mapping 之后生成的样本和 $p_X$ 类似
  • 下式：对于 $i$ 像素的一个好的 shift mapping

$${\overline{p}}_j(T(x))\left|\frac{\partial T}{\partial x}\right|\approx {\overline{p}}_i(x)$$

• identity shift（area measure）：如果 $x_2$ 是 diffuse 的话，这是容易满足的
  • 但是如果 $\overline{x_2{y}_1}$ 、$\overline{x_2{x}_1}$ 距离相差太远，几何项差太多，那么结果也不好

• 如果 $x_1/y_1/x_2$ 存在 specular，这样效果就很差
  • 如下图，黑色高贡献，但是蓝色几乎贡献为 0

Common shift mappings

• 借鉴 gradient domain rendering
• 假设相邻像素变化小
  • 那么相邻相像素 $i,j$ 的 $\hat{p}$ 归一化因子类似
  • 假设 $\hat{p}\approx f$
  • 于是 good shift mapping 条件如下

$$f_j(T(x))\left|\frac{\partial T}{\partial x}\right|\approx f_i(x)$$

• 和 gradient domain rendering 用的条件一样，可以参考它所用的 shift mapping
• Half-vector shift
  • 对于 specular，拷贝对应点（$k$）的 tangent-space half-vector，直到 $y_k$ 和 $x_{k+1}$ 能够连接
  • 双射要求 $y_k,x_{k+1}$ 都是 diffuse（roughness 大于给定值）
  • 出发点：尽可能保留相近的 throughput
    • 当处理 bounce 数变多（多次连不上），产生大的 divergence，效果不太好
  • 合适的材质，效果不错
• 目的：preserve the path contribution

Efficient shift mapping for RTR

• hybrid shift
  • random replay
  • additional distance condition
  • 只根据采样 lobe 的 roughness 进行顶点分类
• 优点
  • 存储小：一个重连接的顶点、随机数种子
  • glossy/refraction 材质效果好
• 目的：为了保持贡献相近

Ensuring Invertibility

两个条件

• Distance Condition（为什么不是比例）
  • 第 2 个是为了保证可逆

$$min(\Vert {\mathrm{x}}_k-{\mathrm{x}}_{k-1}\Vert ,\Vert {\mathrm{x}}_k-{\mathrm{y}}_{k-1}\Vert )\ge d_{min}$$

• Roughness Condition（足够粗糙，这样对重连接友好）
  • $\ell$：表示采样到的 lobe
    • 如果存在多个 lobe，则 $\ell ={\arg max}_{\ell }\alpha (\ell )$
  • $\alpha$：roughness（specular $\to$ diffuse：$0\to 1$）

$$min({\alpha }_{{\mathrm{x}}_{k-1}}({\ell }_{k-1}),{\alpha }_{{\mathrm{y}}_{k-1}}({\ell }_{k-1}^{\prime }),{\alpha }_{{\mathrm{x}}_k}({\ell }_k))\ge {\alpha }_{min}$$

流程

• 在 base path 形成的过程中（PT），满足如下两个条件的最小 $k(k\ge 2)$ 对应的节点 ${\mathrm{x}}_k$ 被保存为 reconnection vertex

$$\Vert {\mathrm{x}}_k-{\mathrm{x}}_{k-1}\Vert \ge d_{min},min({\alpha }_{{\mathrm{x}}_{k-1}}({\ell }_{k-1}),{\alpha }_{{\mathrm{x}}_k}({\ell }_k))\ge {\alpha }_{min}$$

• shift 的时候，使用 random replay（相同的随机数种子生成路径）生成 offset path，直到 ${\mathrm{y}}_{k-1}$ 和 ${\mathrm{x}}_k$ 相连
  • 为了可逆，同时需要满足 $\Vert {\mathrm{x}}_k-{\mathrm{y}}_{k-1}\Vert \ge d_{min},min({\alpha }_{{\mathrm{y}}_{k-1}}({\ell }_{k-1}),{\alpha }_{{\mathrm{x}}_k}({\ell }_k))\ge {\alpha }_{min}$
  • ${\ell }_{k-1}^{\prime }={\ell }_{k-1}$，直接复制
    • 如果 ${\mathrm{y}}_{k-1}$ 上不存在 ${\ell }_{k-1}$ 这个 lobe，那么 shift 失败
• 不存在更小的 $k^{\prime }<k$ 满足上述条件（指 base&offset path），否则违反可逆
  • 疑惑：所以上面的 $k$ 是整体生成的还是只通过 base path 就能生成？
    • 只能是 base path 生成
  • 感觉像是 base path 生成之后，之后只能在 $k$ 处重连接

Path Samples with Lobe/Technique Tags

• 为了满足 path space 到 primary sample spaces (for the random number sequence) 的双射，需要将路径扩展到带 lobe 的

$$\overline{\mathrm{x}}=[{\mathrm{x}}_0,({\mathrm{x}}_1,{\ell }_1),({\mathrm{x}}_2,{\ell }_2),\dots ,({\mathrm{x}}_{D-1},{\ell }_{D-1}),{\mathrm{x}}_D]$$

• $0\le {\ell }_j\le N_{\text{lobe}}$ 表示 ${\mathrm{x}}_j$ 采样到的 lobe 类型
  • $N_{\text{lobe}}$ is the total number of lobes in the scene
• 如果光源被 NEE 采样得到，${\ell }_{D-1}=N_{\text{lobe}}$ 标识这个信息
• 如此便能通过random replay 完全复现这条路径
  • 要求使用的随机数除了路径生成，不用于其他
• 重写：长度 $D+1$ 的路径
  • $\overline{\ell }=[{\ell }_1,{\ell }_2,\cdots ,{\ell }_{D-1}]\in {\mathcal{L}}_D$
  • 上面的 $\overline{\mathrm{x}}\in {\overline{\mathrm{\Omega }}}_D$
  • $m_t(\mathrm{x})$：NEE、BSDF 的 MIS，${\ell }_{D-1}$ 标识 NEE 还是 BSDF 采样

$$I=\sum _{D=1}^{\mathrm{\infty }}{\int }_{{\overline{\mathrm{\Omega }}}_D}\overline{f}(\overline{\mathrm{x}})\mathrm{d}\overline{\mathrm{x}}=\sum _{D=1}^{\mathrm{\infty }}\sum _{\overline{\ell }\in {\mathcal{L}}_D}{\int }_{A^D}{m}_t(\mathrm{x})f_{\overline{\ell }}(\mathrm{x})\mathrm{d}\mathrm{x}$$

Primary Sample Spaces

• ReSTIR PT uses primary sample space(PSS) parameterization for the paths.

• PSS 好处

  • 路径积分可以直接通过 $f/p$ 表示，不用分开记录 $f,p$（浮点误差小）
  • shift mapping 过程中，random replay 的顶点 Jacobian = identity，方便计算

• PSS 形式的路径积分

  • $\mathbf{u}$：随机数序列

  • ${\mathcal{U}}_D=[0,1{]}^{\mathcal{N}(D)}$：超立方体，${\mathcal{N}}_D$ 表示 $\mathbf{u}$ 的长度

  • $F(\overline{\mathbf{u}})=\overline{f}(\mathcal{X}(\overline{\mathbf{u}}))/p(\mathcal{X}(\overline{\mathbf{u}}))$

  • $\mathcal{X}(\overline{\mathbf{u}})$：映射到采样到的路径

  • $\mathbf{u}$ 和 $\overline{\mathrm{x}}$ 是双射

$$I=\sum _{D=1}^{\mathrm{\infty }}{\int }_{{\mathcal{U}}_D}F(\overline{\mathbf{u}})\mathrm{d}\overline{\mathbf{u}}$$

Jacobian 计算

• 重连接的计算（其他的话是 identity）
• ${\omega }_{k-1}^x$：${\mathrm{x}}_{k-1}$ 到 ${\mathrm{x}}_k$ 的单位向量
• 根据面积采样和立体角采样建立联系
  • ${\mathrm{x}}_k={\mathrm{y}}_k$

$$\left|\frac{\partial {\omega }_{k-1}^y}{\partial {\omega }_{k-1}^x}\right|=\left|\frac{\partial {\omega }_{k-1}^y}{\partial {\mathrm{y}}_k}\right|\cdot \left|\frac{\partial {\mathrm{x}}_k}{\partial {\omega }_{k-1}^x}\right|=\left|\frac{\cos {\theta }_k^y}{\cos {\theta }_k^x}\right|\frac{\Vert {\mathrm{x}}_k-{\mathrm{x}}_{k-1}{\Vert }^2}{\Vert {\mathrm{x}}_k-{\mathrm{y}}_{k-1}{\Vert }^2}$$

• 会影响 ${\mathrm{x}}_{k-1},{\mathrm{x}}_k$
  • 如果 ${\mathrm{x}}_k$ 是光源，则只影响 ${\mathrm{x}}_{k-1}$，红色部分为 1

$$\left|\frac{\partial {\overline{\mathbf{u}}}^y}{\partial {\overline{\mathbf{u}}}^x}\right|=\left|\frac{\partial {\overline{\mathbf{u}}}_{k-1}^y}{\partial {\overline{\mathbf{u}}}_{k-1}^x}\right|\left|\frac{\partial {\overline{\mathbf{u}}}_k^y}{\partial {\overline{\mathbf{u}}}_k^x}\right|$$

• ${\mathrm{x}}_{k-1}$
  • $p_{(\omega ,\ell {)}_{k-1}^x}({\mathbf{x}}_k)=p_{{\omega }_{k-1}^x}({\mathbf{x}}_k)\cdot p_{{\ell }_{k-1}^x}$：采样 lobe 和方向的联合分布，立体角度量
    • 如果是光源，那么将面积度量转化为立体角度量，lobe 采样 $p_{{\ell }_{k-1}^x}=1$
  • $p(x)\mathrm{d}x=p(y)\mathrm{d}y$

$$\left|\frac{\partial {\overline{\mathbf{u}}}_{k-1}^y}{\partial {\overline{\mathbf{u}}}_{k-1}^x}\right|=\left|\frac{\partial {\overline{\mathbf{u}}}_{k-1}^y}{\partial {\omega }_{k-1}^y}\right|\left|\frac{\partial {\omega }_{k-1}^y}{\partial {\omega }_{k-1}^x}\right|\left|\frac{\partial {\omega }_{k-1}^x}{\partial {\overline{\mathbf{u}}}_{k-1}^x}\right|=\frac{p_{(\omega ,\ell {)}_{k-1}^y}({\mathbf{y}}_k)}{p_{(\omega ,\ell {)}_{k-1}^x}({\mathbf{x}}_k)}\left|\frac{\partial {\omega }_{k-1}^y}{\partial {\omega }_{k-1}^x}\right|$$

• ${\mathrm{x}}_k$：${\mathrm{x}}_k={\mathrm{y}}_k$

$$\left|\frac{\partial {\overline{\mathbf{u}}}_k^y}{\partial {\overline{\mathbf{u}}}_k^x}\right|=\left|\frac{\partial {\overline{\mathbf{u}}}_k^y}{\partial {\omega }_k^y}\right|\left|\frac{\partial {\omega }_k^x}{\partial {\overline{\mathbf{u}}}_k^x}\right|=\frac{p_{(\omega ,\ell {)}_k^y}({\mathbf{y}}_{k+1})}{p_{(\omega ,\ell {)}_k^x}({\mathbf{x}}_{k+1})}$$

• 根据重连接定义：${\omega }_k^x={\omega }_k^y,{\ell }_{k-1}^x={\ell }_{k-1}^y$，但是采样概率不同（出射方向不同）

ReSTIR PT 细节

• 数据结构如上
• path sample 的内容
  • 重连接顶点
  • 随机数生成器（RNG），序列生成
  • 辅助信息
• 假定重连接顶点 ${\mathrm{y}}_k$ 不是光源（只是为了表示方便，处理类似）
• 重采样流程
  • RNG ${\xi }_1$ 生成子序列 ${\mathrm{y}}_2,\cdots ,{\mathrm{y}}_{k-1}$，throughput 为 $\beta$
  • 通过三角形 ID（$\mathrm{\Delta }$）、重心坐标 ${\lambda }_1,{\lambda }_2$，计算 ${\mathrm{y}}_k={\mathrm{x}}_k$
    • 动态场景需要其他处理，需要使用到 ${\xi }_2$
  • $\omega ={\omega }_k^x$：入射方向，$L$：入射辐射度估计
  • 贡献计算如下
    • $m_t$：考虑到 ${\mathbf{y}}_{k+1}$ 可能是光源的 MIS 系数（不是光源，则为 1）

$$F(Y)=\hat{p}(Y)=\beta \cdot m_t({\omega }_k^y)f_{s,{\omega }_{k-1}^y}({\mathbf{y}}_k)/p_{{\omega }_{k-1}^y}({\mathbf{y}}_k)\cdot f_{s,{\omega }_k^y}({\mathbf{y}}_{k+1})/p_{{\omega }_k^y}({\mathbf{y}}_{k+1})\cdot L$$

• Jacobian 根据式子计算
  • 可以预先计算一些和 ${\mathrm{y}}_{k-1}$ 无关的部分保存下来，避免重复计算
• 重采样整个算法流程如图所示
  • 蓝色 $X_i$，红色 $Y_i$

Volume rendering

• 体渲染的积分域：$\mathcal{M}=\mathcal{A}\cup \mathcal{V}$
  • 表面 + 体

$$\begin{array}{rl}{I}_j=& \sum _{D=1}^{\mathrm{\infty }}{\int }_{{\mathcal{M}}^{D+1}}{W}_e^{(j)}({\mathbf{x}}_1\to {\mathbf{x}}_0)T({\mathbf{x}}_0\leftrightarrow {\mathbf{x}}_1)\overline{G}({\mathbf{x}}_0\leftrightarrow {\mathbf{x}}_1)(\\ & \prod _{j=1}^{D-1}{\overline{f}}_s({\mathbf{x}}_{j+1}\to {\mathbf{x}}_j\to {\mathbf{x}}_{j-1})\overline{G}({\mathbf{x}}_j\leftrightarrow {\mathbf{x}}_{j+1})T({\mathbf{x}}_j\leftrightarrow {\mathbf{x}}_{j+1})\\ & ){\overline{L}}_c({\mathbf{x}}_D\to {\mathbf{x}}_{D-1})\mathrm{d}{\mathbf{x}}_0\mathrm{d}{\mathbf{x}}_1\mathrm{d}{\mathbf{x}}_2\dots \mathrm{d}{\mathbf{x}}_D\end{array}$$

• 针孔摄像机，没有相机响应函数
  • 递归形式
  • 所有点的自发光到 ${\mathrm{x}}_0$ 的贡献（长度为 $1,2,\cdots$）
    • 疑问：这里似乎没有考虑直线外的光源？

$$\begin{array}{rl}L({\omega }_0\to {\mathbf{x}}_0)& =T({\mathbf{x}}_0\leftrightarrow {\mathbf{x}}_1^s)(L_e({\mathbf{x}}_1^s\to {\mathbf{x}}_0)+P({\mathbf{x}}_0,{\mathbf{x}}_1^s))+\\ & {\int }_0^{s}T({\mathbf{x}}_0\leftrightarrow {\mathbf{x}}_1)({\sigma }_a({\mathbf{x}}_1)L_e^m({\mathbf{x}}_1\to {\mathbf{x}}_0)+P({\mathbf{x}}_0,{\mathbf{x}}_1))\mathrm{d}{z}_1\end{array}$$

• $s=||{\mathbf{x}}_1^s-{\mathbf{x}}_0||$：最近的不透明点到像素的距离
• ${\mathbf{x}}_1={\mathbf{x}}_0+z_1{\omega }_0$，${\omega }_0$ 根据像素位置决定
• $P$："in-scattered" path contribution

$$\begin{array}{rl}P({\mathbf{x}}_0,{\mathbf{x}}_1)& =\sum _{D=2}^{\mathrm{\infty }}{\int }_{{\mathcal{M}}^{D-1}}(\prod _{j=1}^{D-1}{\overline{f}}_s({\mathbf{x}}_{j+1}\to {\mathbf{x}}_j\to {\mathbf{x}}_{j-1})\\ & \overline{G}({\mathbf{x}}_j\leftrightarrow {\mathbf{x}}_{j+1})T({\mathbf{x}}_j\leftrightarrow {\mathbf{x}}_{j+1})){\overline{L}}_e({\mathbf{x}}_D\to {\mathbf{x}}_{D-1})\mathrm{d}{\mathbf{x}}_2\dots \mathrm{d}{\mathbf{x}}_D\end{array}$$

• 体介质
  • ${\overline{f}}_s=f_s$
  • $\overline{G}=1/\Vert {\mathbf{x}}_j-{\mathbf{x}}_{j+1}{\Vert }^2$
  • ${\overline{L}}_e({\mathbf{x}}_D\to {\mathbf{x}}_{D-1})={\sigma }_a({\mathbf{x}}_D)L_e^m({\mathbf{x}}_D\to {\mathbf{x}}_{D-1})$
• 表面：常规的含义
• transmission item $T$
  • 计算代价高，在某些 $\sigma$ 分段常数情况下，计算快

$$T(\mathbf{x}\leftrightarrow \mathbf{y})=\exp (-{\int }_0^{z}y{\sigma }_t(\mathbf{x}-y\omega )\mathrm{d}y)$$

• $T$：Volumetric ReSTIR 使用一个简单的 $\hat{p}$
  • ray marching 近似 $T$
  • 使用低分辨率的 volumes 计算（最小化内存开销）
  • A piece-wise constant, low resolution volume
• Volumetric ReSTIR
  • ${\mathrm{x}}_1$ 依赖于 $z$，复用的时候复制 $z_1$ 去生成 shifted ${\mathrm{x}}_1$
  • 两个复用：vertex、direction
    • shifted path：$[z_1,{\omega }_1,z_2,{\omega }_2,\dots ,z_{D-1},x_D]$
  • vertex reuse 效果好，但是由于几何上的奇异性， direction reuse 效果不佳（opted for the slower direction reuse by default）
  • 可以参考 hybrid shift（random replay、distance threshold 等）