Deep Reinforcement Learning Course(1)
强化学习框架、基本概念介绍;两个小实验,简单的跑一跑别人的代码
强化学习框架、基本概念介绍;两个小实验,简单的跑一跑别人的代码
3D 高斯重建,第一个实现重建的实时渲染,训练速度和当时最快的 InstantNGP 差不多,出图质量和当时最好 Mip-NeRF360 的差不多。解决了两个问题,场景中很多地方是空的,快速的可微的渲染管线。
能够处理无穷多种采样方式的 MIS,处理方式就是先采样 n 种采样技术,采样每个技术分配 1 个样本(NEE 可以理解为一种 n=2 的情况)。无穷的处理为 CMIS,SMIS 是其一种近似。举了三个例子(光路重用、光谱渲染、体渲染),CMIS 需要近似才能计算实现,SMIS 实现更为实际。
FLIP 的 HDR 版本,自动计算最小曝光度和最大曝光度,在这之间生成多组 LDR(曝光补偿+色调映射)图片,多组 error map 取最大值得到最终的 error map
提出了一种针对 LDR 图片的新的误差评估标准,基于人眼感知的误差评估,考虑了观察距离、显示设备等观察因素,以及图片本身的性质(point、edge 检测)
shadow ray 的可见性判断使用 MLP 判断,准去的来说是 TLAS + MLP,和传统的 BVH(TLAS + BLAS)相比,线程之间不存在 divergence,而且内存时间都可控,直接光照测试中达到 35% 的提升。
学习到了一种新的神经网络隐式表示,可以用于光线与场景求交,和 SDF 不同,不需要经过 ray marching(sphere tracing),一次查询直接就能求得交点(感觉这里完全没考虑可见性问题)
提出了 N-BVH,在 BVH 架构的基础上,在光线与场景求交的时候,一些子树内部节点的查询使用神经网络查询替代,从而实现场景属性的压缩,目前场景中能够学习的属性是交点、albedo、normal(其他的参数还是写死的)。速度上比 PT 慢一些,但是压缩效果很好。
学习日志
一些日志