GAMES101.闫令琪.09.相机与透镜(Lecture 19)

Posted on Edited on In Views:
相机、针孔摄像机、透镜摄像机、光圈、F-Stop、ISO、快门、理想薄透镜、景深
  • https://www.bilibili.com/video/av90798049

相机与透镜

  • Cameras, Lenses and Light Fields
  • 成像方法
    • Imaging = Synthesis + Capture
      • Synthesis：合成
      • Capture：捕捉（相机等）
  • Transient Imaging：研究光在极短时间内的传播
  • Computational Photography：计算摄像学

相机

  • camera

相机的内部构造

  • Cross-section of Nikon D3, 14-24mm F2.8 lens

  • 镜头、透镜组、机身、感光元件

小孔成像

  • 小孔成像

  • 基于小孔成像原理的相机
    • pinhole：针孔摄像机

透镜相机

  • 透镜（组）

快门

  • shutter
  • Shutter Exposes Sensor For Precise Duration
  • 控制光在多少分之一秒内进入相机

传感器

  • sensor
  • Sensor Accumulates Irradiance During Exposure
  • 传感器记录的是 irradiance

  • 不使用小孔/透镜无法成像

  • 传感器记录的是 irradiance 而不是 radiance
  • 结果是模糊的
  • 但是目前有人在研究一些能够记录 radiance 的传感器
    • 暂时认为传感器只能记录 irradiance

针孔摄像机

  • 照片是没有深度概念的
    • 也就是说整张照片都是锐利的，没有一个地方会是虚化的
    • 不模糊
  • 光线跟踪用的模型就是针孔摄像机
  • 光线跟踪模拟透镜（组）的效果，可以渲染出带有景深的图片

视场

  • FOV
    • Field of View
  • focal length：焦距
  • 针孔摄像机的 FOV 定义如下

\[ FOV=2\arctan(\dfrac{h}{2f}) \]

  • 其他定义 FOV 的方式（市场）
    • 将胶片的大小规定为 35 mm 格式（36 mm x 24 mm），用此时的焦距等效表示 FOV
    • 对角线的长度为 \(12\sqrt{13}\)
焦距/mm 视场（角）
17 104
50 47
200 12
  • 手机的焦距：等效成 35 mm 格式的胶片的情况下的焦距
    • FOV 不变，等效计算焦距
  • 传感器（sensor）和胶片（film），我们暂时混淆使用，有一一对应关系
    • 但是在渲染中，sensor 保存的是 irradiance，film 决定存成怎么样的图片格式
  • 小传感器在保持 FOV 不变：减小焦距
    • 手机
    • 成像相对不清晰

曝光

  • exposure
  • \(H = T \times E\)
    • exposure = time x irradiance
  • T：受到快门的控制
  • E：受到光圈（aperture）、焦距（focal length）等的控制

曝光控制

光圈大小
  • aperture size
  • f-stop / f-number
    • 我们在这里不区分这两个概念
    • 数越大，光圈越小
  • 光圈用的大，某些区域会变模糊；光圈用的小，整张图片相对锐利
  • 写法：FN，F/N
  • N 的含义（非正式理解）：光圈直径的倒数
快门速度
  • shutter speed
  • 通常用一个开放快门的时间来表示
  • 快门时间长：运动模糊
    • motion blur
    • 在快门打开的时间内，物体产生了一段移动，传感器记录了这整段过程，相当于做了平均效果
    • 机械式快门
    • 手抖：类似的结果
  • 运动模糊的好处
    • 让人感觉运动很快
    • anti-aliasing，反走样的效果（时间上采样）
  • rolling shutter
    • different parts of photo taken at different times
    • 快门打开的速度比物体运动速度慢
    • 例子：螺旋桨扭曲
ISO 增益
  • ISO gain
  • 感光度
  • 后期处理：硬件或者软件
  • Change the amplification (analog and/or digital) between sensor values and digital image values
  • ISO 值越大，同时噪声也会被得放大
    • 为什么会有噪声：简单的理解，光子数少（photon mapping 算法中的理解）
  • 线性
各种参数的影响

  • f-stop 和 shutter speed 的补偿（只是在曝光度方面上的补偿）
    • f-stop：放大两倍（面积放大 4 倍）
    • shutter speed：缩小到原来的 \(\dfrac{1}{4}\)（时间变长 4 倍）
    • 但是拍出来的效果并不是一模一样
      • 大光圈会引起浅景深的问题
      • 长曝光会引发运动模糊
      • trade off
  • depth of field：景深

高速摄影

  • High-Speed Photograph
  • 每秒钟拍摄更高的帧数，放映的时候按照正常的帧率播放
  • shutter speed 更快
  • 更大的光圈
    • ISO 会引入噪声

长曝光摄影/延时摄影

  • Long-Exposure Photograph
  • https://www.demilked.com/best-long-exposure-photos/
  • 拉丝效果

透镜

  • Thin Lens Approximation
    • 薄镜头近似
  • 相机一般使用透镜组
  • 非理想透镜
    • aberration（像差）

理想的薄透镜

  • 一些假设
    • All parallel rays entering a lens pass through its focal point.
      • 平行于光轴的光线过焦点
    • All rays through a focal point will be in parallel after passing the lens.
      • 焦点发出的光线平行于光轴射出
    • Focal length can be arbitrarily changed.
      • 薄透镜的焦距可以任意改变
      • 现实中利用透镜组实现

其他物理规律

  • 经过光心的光线传播方向不变
    • chief ray

  • 物距 \(z_o\)，相距 \(z_i\)
  • Gaussian Thin Lens Equation

\[ \dfrac{1}{f}=\dfrac{1}{z_o}+\dfrac{1}{z_i} \]

  • 推导

\[ \dfrac{z_o-f}{h_o}=\dfrac{f}{h_i} \]

\[ \dfrac{z_i-f}{h_i}=\dfrac{f}{h_o} \]

\[ \dfrac{h_i}{h_o}=\dfrac{f}{z_o-f}=\dfrac{z_i-f}{f} \]

\[ \dfrac{1}{f}=\dfrac{1}{z_o}+\dfrac{1}{z_i} \]

  • 在线演示
    • http://graphics.stanford.edu/courses/cs178-10/applets/gaussian.html

Defocus Blur

  • CoC：Circle of Conclusion
    • 弥散圆
    • CoC 指的是弥散圆的大小栈光圈大小的比例

  • 给定像平面（Sensor Plane），可以计算出对焦平面（Focal Plane）
    • 利用上面的 Gaussian Thin Lens Equation
    • 如果物体恰好在对焦平面上，像点恰好在像平面上
  • 对薄透镜来说，如果物体离得比对焦平面远，那么像点会变近
    • 此时在 Sensor Plane 上会形成一个弥散圆（COC）
    • 会变模糊

\[ \dfrac{C}{A}=\dfrac{d'}{z_i}=\dfrac{|z_s-z_i|}{z_i} \]

  • CoC 表面看到的东西模糊不模糊，直接和光圈（A）相关
    • A 越大，C 越大
    • 解释了大光圈引起的模糊现象（景深效果）

F-Stop

  • 精确定义
    • The f-number of a lens is defined as the focal length divided by the diameter of the aperture
    • 焦距除以光圈的直径
  • f-stop：N

\[ C=A\dfrac{|z_s-z_i|}{z_i}=\dfrac{f}{N}\dfrac{|z_s-z_i|}{z_i} \]

  • f-stop 越大，CoC 越小
    • 小光圈拍的照片更清楚

光线经过薄透镜

  • Ray Tracing Ideal Thin Lenses

  • 一种方式
    • 确定 sensor 的大小、透镜属性（焦距、光圈大小）
    • 定义感兴趣的平面（焦平面）\(z_o\)
    • 求出相距 \(z_i\)
  • 渲染
    • 对 sensor 上的任意一个点 \(x'\) 做循环
    • 随机在透镜上选择另外一个点 \(x''\)
    • 计算出出射光线的经过点 \(x'''\)：通过 Gaussian Thin Lens Equation
    • 出射光线 \(x''\to x'''\)，和之前的渲染方式一样

景深

  • Depth of Field
  • 大/小光圈会影响模糊的范围

  • 在成像平面附近一段区域内 CoC 足够小，这一段区域就被称为是 Depth of Focus
    • 反求出物体距离的范围，这便是景深 Depth of Field
    • 成像清晰的一段范围

  • 光圈越小，景深越大
  • 在线演示
    • http://graphics.stanford.edu/courses/cs178/applets/dof.html