Note. 我最近在重构Atrc，没有再采用本文对摄像机的建模方法，原因参见此文。

原文

最近在试着实现light tracing算法，需要手推各种摄像机模型的measurement function，打算把结果总结在这里。这篇文章内容是比较trivial的，只是需要把它们完全理清楚才好实现。

本文一律使用右手坐标系，且视 $z$ 轴正方向为垂直向上的方向。此外，本文的讨论并不立足于实时渲染，因此不会涉及到透视投影变换、齐次坐标系等话题。

所有内容的实现均可在我的GitHub上找到。

Pinhole Camera

顾名思义，小孔摄像机模型中，光只能通过一个理论上大小可以忽略的孔洞进入摄像机内部，并命中成像平面上的感光元器件。我们假设这个布满感光元器件的接收设备是一个矩形，且在世界坐标系中宽度为 $w_{S}$ ，高度为 $h_{S}$ ，并以它的几何中心为原点，在该平面上建立一个简单的二维坐标系，用来表示元器件平面上的位置。这一坐标系被称为感光元器件坐标系，记作 $C_{S}$ ，其有效的坐标取值范围是（注意像素下标虽然是整数，但像素坐标系中的点未必是）：

(x, y) \in [- \frac{w _{S}}{2}, \frac{w _{S}}{2}] \times [- \frac{h _{S}}{2}, \frac{h _{S}}{2}]

元器件所接收到的信号最后要转换为一副二维图像上的颜色。设图像宽高分别为 $w_{I}$ 像素和 $h_{I}$ 像素，以左上角为原点，则有效的像素坐标范围为 $[0, w_{I}] \times [0, h_{I}]$ 。我们把这个坐标系称为像素坐标系，记作 $C_{I}$ 。 $C_{I}$ 和 $C_{S}$ 间的关系是非常明显的：

C_{I} \Rightarrow C_{S} : C_{S} \Rightarrow C_{I} : {x_{S} = w_{S} (x_{I} / w_{I}) - w_{S} /2 y_{S} = h_{S} /2 - h_{S} (y_{I} / w_{I}) {x_{I} = (x_{S} / w_{S} + 0.5) * w_{I} y_{I} = (0.5 - y_{S} / h_{S}) * h_{I}

除了 $C_{I}$ 和 $C_{S}$ 间的转换，我们还需要把 $C_{S}$ 中的坐标转换为世界坐标系中的射线的能力。为了简化问题，我们先考虑一个本地坐标系 $C_{L}$ 中的情况：摄像机的小孔位于原点，正面朝向 $e_{x}$ 方向，小孔和元器件平面的距离为 $L$ ，则给定 $C_{S}$ 中的坐标 $(x_{S}, y_{S})$ ， $C_{L}$ 中的射线原点和方向可以表示为：

origin direction = [0, 0, 0]^{T} = [L, x_{S}, - y_{S}]^{T}

最后，我们引入图形学中非常常见的本地坐标系 $C_{L}$ 与世界坐标系 $C_{W}$ 间的变换。假设摄像机可以先被旋转，再被平移。令 $d$ 表示摄像机旋转后的正面朝向， $u$ 为 $C_{L}$ 中的 $x O z$ 平面上任意一个不平行于 $e_{x}$ 的单位向量被变换到 $C_{W}$ 中的结果，则 $C_{L}$ 中的 $e_{x}, e_{y}, e_{z}$ 在 $C_{W}$ 中分别对应：

e_{x} e_{y} e_{z} \Rightarrow d \Rightarrow u \times d \Rightarrow d \times (u \times d)

由于旋转是个线性变换，所以可以用一个矩阵 $R_{L \to W}$ 来表示，且 $R_{L \to W}$ 可以被构造为：

R_{L \to W} = [d u \times d d \times (u \times d)]

再加上一个平移偏移量 $T$ ，我们就得到了 $C_{L}$ 和 $C_{W}$ 间的转换方法：

C_{L} \to C_{W} : C_{W} \to C_{L} : {v_{W} = R v_{L} p_{W} = R p_{L} + T {v_{L} = R^{T} v_{W} p_{L} = R^{T} (p_{W} - T)

其中 $v$ 表示方向， $p$ 表示位置； $R^{T}$ 表示的其实是 $R^{- 1}$ ，因为旋转矩阵是单位正交矩阵，所以可以通过转置来快速求它的逆。 $C_{L}$ 和 $C_{W}$ 间的转换方法适用于后文中所有的摄像机模型。

Measurement Function

在讨论基于光线追踪的真实感渲染技术时，我们总是说：只要对任意点 $p$ 和方向 $ω$ 能够求解出 $L (x \leftarrow ω)$ ，就算是大功告成了。但是仔细一想：图像上的每个像素实际上都对应了场景中的一小块区域， $L (x \leftarrow ω)$ 和该像素的颜色间是怎么建立起联系的呢？

设像素 $j$ 在场景中对应的元器件区域为 $M_{j}$ ，对每个 $x \in M_{j}$ 和方向 $ω \in S^{2}$ ， $x$ 处的元器件对来自 $ω$ 的光都会产生一定的响应，并影响到最终我们观察到的 $j$ 的颜色。设该响应的强度可以用函数 $W_{e}^{(j)} (x \to ω)$ 表示，那么像素 $j$ 的颜色为：

I_{j} = \int_{M_{j}} \int_{S^{2}} W_{e}^{(j)} (x \to ω) L (x \leftarrow ω) cos ⟨ N_{x}, ω ⟩ d ω d A_{x}

以小孔摄像机为例，如果我们简单地认为像素 $j$ 的颜色为在 $M_{j}$ 意义上通过小孔击中 $M_{j}$ 的所有radiance的平均值，那么 $W_{e}^{(j)}$ 为：

W_{e}^{(j)} (x \to ω) = \frac{δ ( ω - Nor ( R _{L \to W} [ L , x _{S_{j}} , - y _{S_{j}} ] ^{T} ) )}{cos ⟨ N _{x} , ω ⟩ area ( M _{j} )}

其中 $Nor$ 表示将向量归一化。这个式子的意思是对 $M_{j}$ 上的每个点 $x$ ，只有从小孔所在的方向来的光可以对 $j$ 的颜色作出贡献。

把这一节和上一节的内容结合起来，就可以实现小孔摄像机模型了。随便画个图看看：

其实它和图形学中常用的透视投影摄像机是等价的。此外，小孔摄像机拍摄的图像上下左右都颠倒了，为了方便展示，我把它翻转了回来。下文中展示的图像也做了类似的必要处理。

Thin Lens Camera

理想的小孔摄像机在现实中是不存在的，因为光没法通过一个没有大小的孔洞来照亮整个传感元器件平面。本节讨论一种简化的凸透镜摄像机模型，它假设透镜的厚度可以被忽略。

考虑将一个薄凸透镜放置在数轴的原点处，一束平行光沿着 $- e_{x}$ 方向击中透镜，它们将汇聚于 $- x$ 轴上的一点，该点和原点间的距离称为薄凸透镜的焦距，记作 $f$ 。对位于距原点 $z$ （ $z > f$ ）的物体，它所发出的光穿过凸透镜后也会汇聚于一点，设该汇聚点距原点为 $z^{'}$ （ $z^{'} < f$ ），则 $z$ 、 $z^{'}$ 、 $f$ 满足以下关系：

\frac{1}{z ^{'}} - \frac{1}{z} = \frac{1}{f}

也就是说，给定元器件平面和透镜的距离 $z^{'}$ ，我们可以通过上式计算出 $z$ 来。在三维空间中，这样一个和透镜中心距离为 $z$ 的平面被称为焦平面，位于焦平面上的物体上的每个点所发出的光都将汇聚到元器件平面上的一点，而不在焦平面上的点所发出的光在穿过透镜后则会汇聚到元器件平面上的一个圆内，若该圆的大小超过了一个像素，那么我们将观察到模糊的物体，也就是所谓的景深效果。

简单起见，给定元器件平面上的点 $x$ ，我们认为薄凸透镜上的每一点 $y$ 都会对 $x$ 所响应的亮度作出同等的贡献，而每个 $x \in M_{j}$ 也都对像素 $j$ 的颜色作出同等的贡献。此外，我们也希望 $W_{e}^{(j)}$ 能够满足归一化约束：

\int_{M_{j}} \int_{S^{2}} W_{e}^{(j)} (x \to ω) cos ⟨ N_{x}, ω ⟩ d ω d A_{x} = 1

为此，我们首先把 $S^{2}$ 改写到 $M_{A}$ 上，其中 $M_{A}$ 是薄凸透镜在场景中对应的区域：

\int_{M_{j}} \int_{M_{A}} W_{e}^{(j)} (x \to e_{x y}) cos ⟨ N_{x}, e_{x y} ⟩ \frac{cos ⟨ N _{y} , e _{y x} ⟩}{∣ x - y ∣ _{2}^{2}} d A_{y} d A_{x} = 1

由于每个 $y$ 都对 $j$ 的颜色作出同等的贡献，因而：

W_{e}^{(j)} (x \to e_{x y}) cos ⟨ N_{x}, e_{x y} ⟩ \frac{cos ⟨ N _{y} , e _{y x} ⟩}{∣ x - y ∣ _{2}^{2}} = C

$C$ 表示某个和 $y$ 无关的数。代入归一化条件后我们可以得到：

\Rightarrow \int_{M_{j}} \int_{M_{A}} C d A_{y} d A_{x} = 1 C = \frac{1}{area ( M _{j} ) area ( M _{A} )}

这就成功解出了 $W_{e}^{(j)}$ ：

W_{e}^{(j)} (x \to e_{x y}) = \frac{∣ x - y ∣ _{2}^{2}}{cos ⟨ N _{x} , e _{x y} ⟩ cos ⟨ N _{y} , e _{y x} ⟩ area ( M _{j} ) area ( M _{A} )}

容易验证以下三个关系的正确性：

cos ⟨ N_{y}, e_{y x} ⟩ ∣ x - y ∣_{2}^{2} M_{A} = cos ⟨ N_{x}, e_{x y} ⟩ = \frac{L ^{2}}{cos ^{2} ⟨ N _{x} , e _{x y} ⟩} = π r^{2}

其中 $L$ 是元器件平面和凸透镜间的距离， $r$ 是凸透镜半径。把这三个式子代入上面的 $W_{e}^{(j)}$ 表达式中，再把 $N_{x}$ 换成与之相等的摄像机朝向 $d$ ，就得到了：

W_{e}^{(j)} (x \to ω) = \frac{L ^{2}}{π r ^{2} cos ^{4} ⟨ d , ω ⟩ area ( M _{j} )}

凸透镜半径取得越大，不在焦平面上的物体显得越模糊。下图的元器件平面宽度为2m，距离透镜1m，透镜半径为20cm（这参数已经超出我对摄像机的认知了，不过请不要在意这些细节），可以看到景深效果非常夸张：

Environment Camera

环境摄像机不是现实中能有的摄像机——它捕获四面八方的光线，将上下左右前后所有的景物都记录到一幅图像上。对任意一个入射方向 $ω$ ，设 $θ_{ω} \in [0, 2 π)$ 是它沿垂直轴的旋转角度， $ϕ_{ω} \in [- π /2, π /2]$ 是与水平面的夹角。令：

u_{ω} v_{ω} = 1 - \frac{θ _{ω}}{2 π} = 0.5 - \frac{ϕ _{ω}}{π}

并将 $(u_{ω}, v_{ω})$ 作为纹理坐标（原点在图像左上角），就能获得一幅描述了环境光照的图像。

环境摄像机的感光元器件就比较邪门儿了，它是一个球。我们暂且把这个球放置在原点，用 $r$ 表示其半径，则 $(u_{ω}, v_{ω})$ 对应球面上的点为：

⎩ ⎨ ⎧ x_{ω} = r cos ϕ_{ω} cos θ_{ω} y_{ω} = r cos ϕ_{ω} sin θ_{ω} z_{ω} = r sin ϕ_{ω}

这个点上的感光器件只对一个方向来的光有响应，那就是来自 $[x, y, z]^{T}$ 的光。于是，给定像素坐标系 $C_{I}$ 中的点 $(x_{I}, y_{I})$ ，其对应的射线是：

origin (x_{I}, y_{I}) = r cos (\frac{π}{2} - \frac{π y _{I}}{h _{I}}) cos (- \frac{2 π x _{I}}{w _{I}}) r cos (\frac{π}{2} - \frac{π y _{I}}{h _{I}}) sin (- \frac{2 π x _{I}}{w _{I}}) r sin (\frac{π}{2} - \frac{π y _{I}}{h _{I}}) = r sin \frac{π y _{I}}{h _{I}} cos (- \frac{2 π x _{I}}{w _{I}}) r sin \frac{π y _{I}}{h _{I}} sin (- \frac{2 π x _{I}}{w _{I}}) r cos \frac{π y _{I}}{h _{I}} direction (x_{I}, y_{I}) = N_{origin} = \frac{origin}{∣ origin ∣ _{2}} = sin \frac{π y _{I}}{h _{I}} cos (- \frac{2 π x _{I}}{w _{I}}) sin \frac{π y _{I}}{h _{I}} sin (- \frac{2 π x _{I}}{w _{I}}) cos \frac{π y _{I}}{h _{I}}

设像素 $j$ 在 $C_{I}$ 中的范围为 $[x_{j_{1}}, x_{j_{2}}] \times [y_{j_{1}}, y_{j_{2}}]$ ，则它所对应的元器件区域 $M_{j}$ 为：

M_{j} = {origin (x, y) ∣ (x, y) \in [x_{j_{1}}, x_{j_{2}}] \times [y_{j_{1}}, y_{j_{2}}]}

我们假设 $M_{j}$ 上的每个点对 $j$ 的颜色有相同的贡献量，于是：

W_{e}^{(j)} (x \to ω) = C \frac{δ ( N _{x} - ω )}{cos ⟨ N _{x} , ω ⟩} \int_{M_{j}} \int_{S^{2}} W_{e}^{(j)} (x \to ω) cos ⟨ N_{x}, ω ⟩ d ω d A_{x} = 1

解得：

W_{e}^{(j)} (x \to ω) = \frac{δ ( N _{x} - ω )}{area ( M _{j} )}

随便画个图看看：

Measurement Equation on Film

对环境摄像机的探究就算是大功告成了吗？其实不然。在之前讨论的两个摄像机模型中，如果我们在像素 $j$ 中均匀采样像素平面上的点，那么这也等价于在 $M_{j}$ 上均匀采样，进而可以通过均匀采样和求均值来估计 $I_{j}$ 。而在环境摄像机模型中，像素 $j$ 上的均匀分布并不等价于 $M_{j}$ 上的均匀分布，因而在 $C_{I}$ 中，像素 $j$ 范围内的各点对 $I_{j}$ 的贡献是不等的。我们把measurement equation中的 $M_{j}$ 换到 $C_{I}$ 上试试：

I_{j} = \int_{x_{0}}^{x_{1}} \int_{y_{0}}^{y_{1}} \int_{S^{2}} Q_{e}^{(j)} ((x, y) \to ω) L (W (x, y) \leftarrow ω) d ω d x d y

其中， $(x_{0}, y_{0})$ 是 $C_{I}$ 中某个像素 $j$ 的左上角， $(x_{1}, y_{1})$ 则是 $j$ 的右下角； $W$ 是将 $C_{I}$ 中的点转换为 $M_{j}$ 上的点的函数， $Q_{e}^{(j)}$ 则是衡量 $L (W (x, y) \leftarrow ω)$ 对 $I_{j}$ 的重要程度的函数，从计算的角度看比 $W_{e}^{(j)}$ 更为直接。

根据 $C_{I}$ 的定义， $x_{1} - x_{0} = y_{1} - y_{0} = 1$ ，因此如果我们在 $j$ 内均匀采样，那么概率密度函数将是值为1的常函数，这就给出了用蒙特卡路方法估算 $I_{j}$ 的公式：

\hat{I}_{j} = \frac{1}{N} i = 1 \sum N \frac{Q _{e}^{(j)} (( x _{i} , y _{i} ) \to ω _{i} ) L ( W ( x _{i} , y _{i} ) \leftarrow ω _{i} )}{p ( x _{i} , y _{i} ) p ( ω _{i} ∣ ( x _{i} , y _{i} ))} = \frac{1}{N} i = 1 \sum N \frac{Q _{e}^{(j)} (( x _{i} , y _{i} ) \to ω _{i} ) L ( W ( x _{i} , y _{i} ) \leftarrow ω _{i} )}{p ( ω _{i} ∣ ( x _{i} , y _{i} ))}

其中 $N$ 是采样数， $(x_{i}, y_{i})$ 和 $ω_{i}$ 分别是第 $i$ 次采样得到的 $C_{I}$ 中的点和入射方向， $p (ω_{i} ∣ (x_{i}, y_{i}))$ 是在选中了 $(x_{i}, y_{i})$ 后选中 $ω_{i}$ 的条件概率密度。

接下来我们来尝试导出 $W_{e}$ 和 $Q_{e}$ 之间的关系。设 $M_{j}$ 可以被写作参数曲面 $M_{j} (α, β)$ ， $(α, β)$ 和 $C_{I}$ 中像素 $j$ 上的点间构成双射，且具有一大坨我在这里不想写的良好数学性质，那么我们可以把对 $Q_{e}$ 的积分换到 $M_{j}$ 的参数空间 $Ω$ 上：

I_{j} = \int_{x_{0}}^{x_{1}} \int_{y_{0}}^{y_{1}} \int_{S^{2}} Q_{e}^{(j)} ((x, y) \to ω) L (W (x, y) \leftarrow ω) d ω d x d y = \int_{Ω} \int_{S^{2}} Q_{e}^{(j)} ((x (α, β), y (α, β)) \to ω) L (M_{j} (α, β) \leftarrow ω) \frac{\partial ( x , y )}{\partial ( α , β )} d ω d α d β

而 $W_{e}$ 所满足的方程在形式上和上式非常相似：

I_{j} = \int_{Ω} \int_{S^{2}} W_{e}^{(j)} (x \to ω) L (x \leftarrow ω) cos ⟨ N_{x}, ω ⟩ \frac{d A _{M_{j}}}{d α d β} d ω d α d β

于是 $Q_{e}$ 和 $W_{e}$ 满足：

Q_{e}^{(j)} ((x, y) \to ω) \frac{\partial ( x , y )}{\partial ( α , β )} = W_{e}^{(j)} (x \to ω) cos ⟨ N_{x}, ω ⟩ \frac{d A _{M_{j}}}{d α d β}

其中 $x$ 是 $(x, y)$ 在 $M_{j}$ 上的对应点。我们把小孔摄像机的 $W_{e}$ 代入上式，就能得到它的 $Q_{e}$ ：

Q_{e}^{(j)} ((x, y) \to ω) = area (M_{j}) \frac{δ ( ω - Nor ( R _{L \to W} [ L , x _{S_{j}} , - y _{S_{j}} ] ^{T} ) )}{cos ⟨ N _{x} , ω ⟩ area ( M _{j} )} cos ⟨ N_{x}, ω ⟩ = δ (ω - Nor (R_{L \to W} [L, x_{S_{j}}, - y_{S_{j}}]^{T}))

对薄凸透镜模型也有类似的结论：

Q_{e}^{(j)} ((x, y) \to ω) = area (M_{j}) \frac{L ^{2}}{π r ^{2} cos ^{4} ⟨ d , ω ⟩ area ( M _{j} )} cos ⟨ N_{x}, ω ⟩ = \frac{L ^{2}}{π r ^{2} cos ^{3} ⟨ d , ω ⟩}

对环境摄像机，注意到：

x y = - \frac{1}{2 π} w_{I} θ = - \frac{h _{I}}{2} + \frac{h _{I} ϕ}{π}

于是：

\frac{\partial ( x , y )}{\partial ( θ , ϕ )} = Det ([- w_{I} / (2 π) 0 0 h_{I} / π]) = \frac{w _{I} h _{I}}{2 π ^{2}}

若取摄像机球体半径为1（这与最后的结论无关），那么：

= \int_{θ_{1}}^{θ_{2}} \int_{ϕ_{1}}^{ϕ_{2}} \int_{S^{2}} Q_{e}^{(j)} ((x, y) \to ω) L (x \leftarrow ω) \frac{\partial ( x , y )}{\partial ( θ , ϕ )} d ω d ϕ d θ \int_{θ_{1}}^{θ_{2}} \int_{ϕ_{1}}^{ϕ_{2}} \int_{S^{2}} W_{e}^{(j)} (x \to ω) L (x \leftarrow ω) cos ⟨ N_{x}, ω ⟩ cos ϕ d ω d ϕ d θ

其中 $θ_{1}, θ_{2}, ϕ_{1}, ϕ_{2}$ 是 $M_{j}$ 对应的 $θ$ 和 $ϕ$ 的范围边界。从上式可以解得：

Q_{e}^{(j)} ((x, y) \to ω) = \frac{2 π ^{2} δ ( N _{x} - ω ) cos ϕ}{w _{I} h _{I} ∣ ( θ _{2} - θ _{1} ) ( sin ϕ _{2} - sin ϕ _{1} ) ∣}

Automorphism

摄像机模型小结

原文

Pinhole Camera

Measurement Function

Thin Lens Camera

Environment Camera

Measurement Equation on Film

Table of Contents

Backlinks