(论文)[2023-PG] World-Space Spatiotemporal Path Resampling for Path Tracing

Posted on Edited on In Views:
世界空间的时空间复用 ReSTIR；从开源代码来看和 2021-SIG-Communication 的区别就是 hash 的时候加了 normal

World-Space Spatiotemporal Path Resampling for PT

  • 作者：Hangyu Zhang、Beibei Wang
  • 主页
  • 代码，Falcor 实现

摘要

  • 屏幕空间复用样本少，只能复用 first bounce 的样本，复杂场景效果不好
  • 我们将样本保存到 world-space grid 中，这样能够复用更多的样本（non-primary path vertices）

之前工作

  • Resampling methods
    • ReSTIR：屏幕空间
      • 【2020-SIG】ReSTIR DI：时间、相邻像素复用
      • 【2021-HPG】ReSTIR GI：重采样 path【本文对比算法】
      • 【2022-SIG】ReSTIR PT：泛化 ReSTIR GI 理论，引入高效 shift mapping
        • overhead 较大
    • 【2021-SIGA-Communication】World-space ReSTIR
      • 世界空间中缓存 light sample reservoirs，只做了light sampler，只做了 one-bounce diffuse GI
    • 我们：lightweight GI
    • DDGI + ReSTIR
  • World-space reuse methods：对应屏幕空间
    • Path Filtering

Background and motivation

Background

  • Resampled Importance Sampling
  • Weighted Reservoir Sampling
  • ReSTIR GI

ReSTIR GI

  • 定义：\(\bar{x}=\mathrm{x}_0,\mathrm{x}_1,\cdots,\mathrm{x}_n\)
    • \(\mathrm{x}_0\)：camera
    • \(\mathrm{x}_n\)：light
    • \(\mathrm{x}_1\)：visible point
    • \(\mathrm{x}_2\)：sample point
    • \(\mathrm{x}_2,\cdots,\mathrm{x}_n\)：path sample
  • ReSTIR GI 核心：为 visible point 采样 path sample + Reuse
  • 蓄水池记录
    • visible point、sample point 的位置与法向 \(\mathrm{x}_1,\mathrm{x}_2,\mathrm{n}_1,\mathrm{n}_2\)
    • 出射 radiance \(L_2\)，采样 pdf \(p\)
  • 渲染的时候，采样蓄水池，然后重连 visible point + path sample
    • reconnection shift mapping：\(p\) 表示变换后的 pdf

\[ p_i^\prime(y) = p(T_i(y)) \left| \frac{\partial T_i}{\partial y} \right| \]

Motivation

  • ReSTIR GI 的限制
    • path sample 只能起始于 sample point \(\mathrm{x}_2\)
    • 屏幕空间蓄水池：在不连续区域，空间一致性被破坏
    • glossy 表面，reconnection shift mapping 失效
      • ReSTIR PT 提供了其他方案，但是开销大
      • 简单替代：使用 glossy 之后的后续顶点重连【ReSTIR GI 框架下不允许】
  • 我们提出了 world-space ReSTIR GI
    • 所有从 non-primary vertice 出发的 path 都能被作为蓄水池样本
    • 空间一致性保证

World-Space ReSTIR GI

Sample Generation

  • 一些区别
  • 光线走完 PT（no NEE）
    • 将 roughness < 0.2 的点称为 specular point
    • 第一个 no-specular point 称为 visible point \(\mathrm{x}_1\)
    • visible point 之后的所有点都称为 generalized sample point
    • generalized path sample：generalized sample point 和 light 上的一个点相连形成的路径
      • 记录一些路径相关信息（具体查看实现部分）
      • 暂存到 screen-space buffer 中，之后存到世界空间 hash grid 中

Hash Grid Construction

  • 目的：efficient query and compact storage
  • 和 World-Space ReSTIR 差不多
    • 简称为 WSR
    • 就是加了法线
    • 存储也是一样，存储数据索引（index），实际数据保存到 image buffer

哈希函数

  • 同时考虑位置和法线（法线变化大破坏空间一致性）
  • 在其基础上引入了法线
    • 在 WSR 外面套了一个法线 hash
      • pcg、jenkinsHash（32bit 版本）都加
    • BinaryNorm 是论文中的 quantized ，对法线的量化
      • 球面映射到量化块，论文中是下面 BinaryNorm 中注释掉的代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
int FindOrInsertCell(float3 pos, float3 norm, float cellSize, GIParameter params, RWByteAddressBuffer checkSumBuffer) {
    uint3 p = uint3(floor((pos - params.sceneBBMin) / cellSize));
    // uint normprint = params._pad > 0 ? BinaryNorm(norm) : 0u;
    uint normprint = BinaryNorm(norm);

    uint cellIndex = pcg32(normprint + 
                           pcg32(cellSize + pcg32(p.z + pcg32(p.y + pcg32(p.x)))) // 这个就是 World-Space ReSTIR 中用的
                          ) % 100000;
    uint checkSum = max(jenkinsHash(normprint + jenkinsHash(cellSize + jenkinsHash(p.z + jenkinsHash(p.y + jenkinsHash(p.x))))), 1);

    for (uint i = 0; i < 32; i++) {
        uint idx = cellIndex * 32 + i;
        uint checkSumPre;
        // 如果 checkSumBuffer[idx] == 0,
        //    那么设置 checkSumBuffer[idx] = checkSum，checkSumPre = checkSumBuffer[idx]（返回原始值 0）
        // 否则，返回原始值 checkSumBuffer[idx]
        checkSumBuffer.InterlockedCompareExchange(idx, 0, checkSum, checkSumPre);
        if (checkSumPre == 0 || checkSumPre == checkSum)
            return idx;
    }

    return -1;
}
1
2
3
4
5
6
7
8
uint BinaryNorm(float3 norm) {
    uint a = norm.x > 0.f ? 1 : 0;
    uint b = norm.y > 0.f ? 1 : 0;
    uint c = norm.z > 0.f ? 1 : 0;
    return a * 100 + b * 10 + c;
    // uint3 biNorm = floor((norm + 1.f) * 1.5f);
    // return biNorm.x << 4 | biNorm.y << 2 | biNorm.z;
}

Cascaded hash grid

  • 近密远疏
  • 和 WRS 一样

Spatiotemporal Path Resampling

  • 世界空间空间复用（grid 不是配这个功能），屏幕空间时间复用
  • temporal：重投影到上一帧，根据保存的 generalized path samples 重采样，更新 temporal reservoir
  • spatial
    • 根据 visible point 的位置+法线
    • 找到对应的 hash cell 中保存的 index
    • screen space buffers 中获取generalized path samples
    • 重采样，丢弃判定如下
      • 法线相似性：visible point'normal 和 path sample'normal \(\mathrm{n}_{i}\)的夹角 < threshold（15）；不满足直接丢弃
      • 可见性：visible point 和 sample 之间的可见性；不满足权重设置为 0
    • shift mapping
    • 更新 reservoir
    • bias correction，因为使用 \(1/M\) 作为 MIS，但是实际贡献到采样方向的 pdf 个数的可能小于 \(M\)
      • 说是和 ReSTIR GI 差不多，所以应该是吧 MIS 改成了 balance heuristic
    • 根据获取到的结果，重采样结束
  • 比 ReSTIR GI 更合理的复用范围

实现

  • 每一帧流程
    • PT 生成样本
    • 从头开始生成 Hash Grid【BeginFrame 中清空了 buffer】
      • 存入【max entry in cell = 32】
      • 前缀和、compact
    • RIS：temporal + 3 x spatial
  • 按照开源的代码，实际上的重采样只发生在 visible point
    • PT 生成的样本也就是不同的 visible point 对应的样本
    • RIS 也是在 visible point 进行
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
// 6，相当于是 6 spp
for (uint32_t i = 0; i < reSTIRInstances.size(); i++) {
    params.currentGIInstance = i;
    UpdateResource();
    UpdateProgram();

    // 初始化，包括清空 hash grid 等
    reSTIRInstances[i]->BeginFrame(...);

    // 光追生成样本
    PrepareGIData(...);

    // 包括好几个 pass，[1][2][3] 实现 compact 二次哈希
    // [1] InitialReservoirs.cs.slang
    //     保存蓄水池样本，把索引保存到 hash grid1 中（固定步长 32 的），此时 hash grid1 中保存的是 checkSum
    // [2] PrefixSum（内置）
    //     求前缀和
    // [3] BuildHashGrid.cs.slang
    //     将索引真正保存到 hash grid2（cellStorage）中
    // [4] SpatiotemporalResampling.cs.slang
    //     RIS 重采样
    // [5] FinalSample.cs.slang
    //     计算重采样得到的样本的若干信息
    reSTIRInstances[i]->UpdateReSTIRGI(...);

    // 根据重采样得到的样本着色
    FinalShading(pRenderContext, renderData, i);
    reSTIRInstances[i]->EndFrame(pRenderContext);
}

Sample Generation

  • 3 image-sized buffers，保存不同 bounce 数的样本（实验 bounce 数为 2）
    • Initial sample buffer：初始样本的蓄水池
    • Temporal reservoir buffer：接受上一帧的蓄水池更新
    • Spatial reservoir buffer
  • 另外一个screen-space buffer，保存 glossy 信息（累计 BSDF、path radiance、到达 visible point 之前的 path length）
  • 初始蓄水池样本生成
    • 找到第一个 non-specular 的点 \(\mathrm{x}_1\)，然后继续光追
    • 保存一些信息，用于重采样
      • \(\mathrm{x}_i\) 有一个样本 \(\mathrm{x}_{i+1}\)，其中 BSDF pdf 为 \(p_i\)，radiance 估计为 \(L_{i+1}\)（NEE+MIS 的结果）

  • 我看他开源的代码似乎只保存了 \(i=1\) 的样本到蓄水池里面

Hash Grid Construction

  • 和 World-Space ReSTIR 差不多，就是加了法线
  • 将上面生成的样本保存到 hash grid 中
  • 配置
    • minimum cell size：场景 BVH 最小边的 \(1\%\)
      • 大了无效样本多，小了样本不够
    • projected cell size：\(10\%\) 的分辨率（ReSTIR GI 一样）
    • maximum cell count：3.2M

Resampling

  • temporal：重投影到上一帧，然后使用其样本【重投影失败则不用 temporal】
  • spatial：3 轮

  • 代码实现上，reservoir 长度为 2x分辨率，用于保存【temporal | spatial】

    • reservoir 使用 initialReservoirs 进行初始化【原始样本】，记作 A

    • 重投影，根据像素位置，获取上一帧 temporal reservoir，记作 B【merge 到 A】

      • 保存 A 到当前帧 temporal reservoir【给下一帧用】

    • 获取上一帧 temporal reservoir，记作 C【和 B 的区别，读取后将 \(\mathrm{x}_i,\mathrm{n}_i\) 修改为 A 的位置与法线】

      • 读取上一帧的 grid cell 中的 reservoir，进行重采样【此时轮流获取上一帧的 temporal 和 spatial reservoir】
        • 重采样 merge 到 C
      1
      2
      3
      4
      5
      6
      Reservoir neighborReservoir = GetReservoirs(
          preReservoirs,
          neighborPixelIndex, 
          (count + 1) % 2, // 0 temporal, 1 spatial
          stride
      );

    • 保存 C 作为最终结果，保存到当前帧的 spatial reservoir

  • 为什么使用上一帧：论文中说是为了减小相关性带来的 bias

  • 论文还说了压缩，但是开源代码没有看到压缩的部分

    • 还是说只开源了 1 个 bounce 的版本，multi-bounce 才压缩？

对比

  • 论文说对比的是 ReSTIR PT，真的假的？
    • We use the implementation of the unbiased version provided by Lin et al. [LKB∗22] for ReSTIR GI and ReSTIR PT
  • 可能称简单 shift mapping 为 ReSTIR GI，复杂的为 ReSTIR PT？
    • 效果比 ReSTIR GI 好，比 ReSTIR PT 差
    • 但是开销比 ReSTIR PT 小（ReSTIR PT 3x 开销）

讨论

  • 不每帧重建 hash grid
  • 使用 multi-resolution hash；精细的 spatial，粗糙的 temporal；取代 screen space buffer
  • 复杂光路：glossy
  • 动态光源

评价

  • 至少从开源代码看，好多论文说的内容都没实现，下面的分析也是基于开源代码
  • 和 2021-SIG-Communication 的文章对比
    • Hash Grid 里面加上了 normal aware
    • 论文声称能做更多 bounce 的 ReSTIR，但是实际上只做了第一个 non-specular 的 WS ReSTIR
    • WS ReSTIR 重采样 light，本文重采样 path
      • 但是实际上他只做了最简单的 shift mapping，用不上 \(L_i\) 就不用了，也没有 random replay；实现上和 light 差不多