Computer Vision on Snow

How SfM Works: Recovering 3D Structure from Photos

Thu, 16 Jul 2026 21:46:40 +0800

How SfM Works: Recovering 3D Structure from Photos

Structure from Motion answers a deceptively simple question: given only photos of the same scene from different viewpoints, can we recover both the camera motion and the 3D structure?
Yes, but the answer is not magic. It is multi-view geometry stitched into a robust engineering pipeline.

What SfM Solves

SfM estimates two things at the same time:

Structure: where the scene points are in 3D.
Motion: where each camera was and how it was oriented when the photo was taken.

Item	Meaning in SfM	Typical output
Images	Overlapping photos of the same scene	JPG / PNG
Intrinsics	Focal length, principal point, distortion	$K, d$
Extrinsics	Pose of every image	$R, t$
3D structure	Points observed by multiple images	sparse point cloud
Tracks	Which 2D observations belong to the same 3D point	feature tracks

The core idea is: use corresponding image points to infer cameras and 3D points that are geometrically consistent.

The Pipeline

A typical SfM system follows this sequence:

Extract features in each image.
Match features between overlapping image pairs.
Estimate two-view geometry with the fundamental matrix $F$ or essential matrix $E$.
Initialize from a strong image pair and triangulate the first 3D points.
Register new cameras with PnP and triangulate additional points.
Run Bundle Adjustment to jointly refine cameras and 3D structure.

SfM optimizes for geometric consistency first. Its point cloud is usually sparse, but its camera poses are extremely useful for downstream reconstruction and rendering.

Features and Matches

Before estimating geometry, SfM must answer a smaller question: which points in different images are projections of the same 3D point?

Local features provide this bridge. Each feature has:

a 2D image location $(u, v)$;
a descriptor vector that summarizes the local appearance.

Classic SfM systems often use SIFT because it is relatively stable under scale, rotation, and illumination changes. Faster systems may use ORB or similar binary descriptors.

Raw descriptor nearest neighbors are not enough. Practical systems filter matches using:

Filter	Purpose
Ratio test	Reject ambiguous nearest-neighbor matches
Mutual check	Keep only matches that agree in both directions
RANSAC	Keep matches that fit the estimated geometry

If the match graph is poor, the rest of the reconstruction will be unstable.

Epipolar Geometry

For a matching point pair $x_1$ and $x_2$, the fundamental matrix encodes the epipolar constraint:

$$ x_2^\top F x_1 = 0 $$

This says that once a point is chosen in image 1, its match in image 2 cannot be anywhere. It must lie on the corresponding epipolar line.

If camera intrinsics are known, SfM can use the essential matrix:

$$ E = K_2^\top F K_1 $$

Decomposing $E$ gives the relative rotation $R$ and translation direction $t$ between two cameras. The word “direction” matters: monocular SfM cannot recover absolute scale by itself.

In real images, matches include noise and outliers, so $F$ or $E$ is usually estimated inside RANSAC. This turns visually plausible matches into geometrically plausible matches.

Triangulation

Once two camera poses and a matching point pair are known, SfM back-projects the two pixels into 3D rays. Ideally, the rays intersect at the true 3D point.

In practice they almost never intersect exactly, because of feature noise, lens distortion, and imperfect calibration. Triangulation therefore estimates the 3D point that best explains the observed pixels.

Using a projection matrix $P_i$, a 3D point $X$, and an observed pixel $x_i$:

$$ x_i \sim P_i X $$

After triangulation, SfM checks that points are in front of the cameras, have acceptable reprojection error, and were observed with enough parallax. Small baselines make depth estimates unstable.

Incremental Reconstruction

Most practical SfM pipelines are incremental:

Stage	Purpose	Key quality signal
Choose seed pair	Start from a strong image pair	enough parallax and inliers
Initialize	Decompose $E$ and triangulate first points	positive depth points
Register image	Estimate a new camera with 2D-3D matches	PnP inlier count
Triangulate points	Add new points visible in multiple cameras	parallax and reprojection error
Local BA	Refine recently affected cameras and points	fast drift correction
Global BA	Refine the full reconstruction	global consistency

PnP is what lets a new image join an existing model: given known 3D points and their 2D observations in the new image, estimate that image’s camera pose.

Bundle Adjustment

Bundle Adjustment is the global correction step. It jointly optimizes camera parameters and 3D point positions to minimize reprojection error:

$$ \min_{{P_i}, {X_j}} \sum_{i,j} \rho \left(\left|x_{ij} - \pi(P_i, X_j)\right|^2\right) $$

Here:

$P_i$ is the parameter set for camera $i$;
$X_j$ is 3D point $j$;
$x_{ij}$ is the observed 2D feature;
$\pi(P_i, X_j)$ is the predicted projection;
$\rho$ is a robust loss that reduces the impact of outliers.

BA can be expensive, but the problem is highly sparse: one observation connects only one camera and one 3D point. Modern solvers exploit this sparsity heavily.

Without BA, an SfM model may look locally plausible while bending globally. With BA, all observations pull the reconstruction toward one consistent coordinate system.

Scale, Failure Cases, and Downstream Use

Monocular SfM has no absolute scale. If all translations and all 3D points are scaled by the same factor, the projected image coordinates remain unchanged. Real scale requires extra information such as known baselines, calibration targets, GPS/IMU data, depth sensors, or manual distance constraints.

Common failure cases:

Scene	Why it fails	Symptom
Low texture	few stable features	blank walls or glass fail
Repeated texture	ambiguous matches	windows, fences, and tiles create wrong geometry
Dynamic objects	violates static-scene assumption	floating points on people or vehicles
Very wide viewpoint change	features look too different	too few matches
Tiny baseline	weak triangulation	flat or noisy depth
Pure rotation	no translational parallax	panorama works, 3D structure does not

SfM is usually not the end of reconstruction. It is the geometric foundation for:

MVS: dense depth maps, meshes, and textures;
NeRF: camera poses for neural radiance field training;
3DGS: sparse points as initial Gaussian positions;
visual SLAM: related geometry, but optimized for online operation.

Summary

SfM can be summarized as:

match features across images, estimate camera geometry, triangulate 3D points, and refine everything with Bundle Adjustment.

Once this pipeline is clear, tools like COLMAP, MVS systems, NeRF preprocessing, and 3D Gaussian Splatting become easier to understand. They are not isolated tricks; they are built on the same multi-view geometry foundation.

3D Gaussian Splatting Principles:Rebuilding the World with Millions of Gaussians and Its Cost

Tue, 14 Jul 2026 21:43:00 +0800

3DGS 原理详解：用百万颗高斯重建世界，及其背后的代价

2023 年 SIGGRAPH 最佳论文 “3D Gaussian Splatting for Real-Time Radiance Field Rendering” 把"神经辐射场"从「一帧几秒」拉到了「实时 100 FPS」，从此新视角合成（Novel View Synthesis）这条赛道被彻底改写。本文从零讲清楚 3DGS 是怎么工作的、为什么这么快，以及它天生的几道"硬伤"。

一、为什么需要 3DGS

新视角合成的目标是：给一组同一场景的多视角照片，训练出一个能从任意新视角渲染出照片级图像的模型。它的应用横跨 VR/AR、影视特效、数字孪生、自动驾驶仿真、文物数字化等领域。

这条路上有两个关键节点：

NeRF（2020 ECCV）：用一个 MLP 把 (位置, 方向) 映射到 (颜色, 密度)，再通过体渲染方程积出像素颜色。质量惊艳，但每渲染一张图要几秒到几十秒——实时化遥不可及。
3DGS（2023 SIGGRAPH）：放弃隐式 MLP，改用一组显式 3D 高斯椭球直接表示场景，搭配定制化可微光栅化器，把渲染压到 100+ FPS。

为什么 3DGS 这么关键？因为它证明了：高质量新视角合成不一定要走"体渲染积分"的老路，直接用一组显式基元做 α 混合就够了。 这一思路转变让 3DGS 的生态在两年内爆发式生长。

二、整体流程一览

3DGS 的完整生命周期可以拆成 5 步：

输入图像：100~300 张多视角照片，相机姿态已知（通常由 COLMAP 估计）。
SfM 初始化：用运动恢复结构（SfM）得到稀疏点云，作为高斯椭球的初始位置。
构建 3D 高斯集合：每个稀疏点扩展为一个完整的 3D 高斯（位置 + 协方差 + 颜色 + 不透明度）。
训练优化：随机梯度下降，配合自适应密度控制（克隆 / 分裂 / 剪枝）调整高斯数量。
实时渲染：用专用光栅化器把所有高斯投影、排序、α 混合成像素。

一个关键认知：训练完成后得到的只是一个 .ply 文件，推理阶段不需要任何神经网络，整个渲染就是 GPU 上的几何运算 + 颜色混合。

三、表示：一个高斯长什么样

3DGS 不用体素、不用 MLP，而是把场景表示为百万级个 3D 高斯椭球。每个高斯有 5 类可优化属性：

属性	含义	参数量	激活方式
位置 μ	高斯椭球的中心	3	直接优化
缩放 s	椭球的半轴长度	3	指数激活（保证非负）
旋转 q	椭球的朝向（四元数）	4	归一化后使用
不透明度 α	渲染时的"权重"	1	Sigmoid
颜色（SH 系数）	视角相关颜色	48（3 阶 SH）	球谐求值

3.1 协方差的参数化技巧

直接学习一个 3×3 的协方差矩阵 Σ 有两个坑：

必须是半正定的，否则不是合法的协方差；
9 个参数冗余，优化困难。

3DGS 的做法是把它分解为缩放 s 和旋转 R：

`1`	`Σ = R · diag(s) · diag(s)ᵀ · Rᵀ`

这样只需要 7 个参数（3 个缩放 + 4 个四元数），且自动半正定，对优化器友好。

3.2 为什么用球谐（SH）而不是直接存 RGB？

真实世界里，同一个点从不同角度看，颜色是不一样的——金属的高光、玻璃的反射、毛发的次表面散射都是典型。直接存一个 RGB 就丢失了这种视角依赖。

3DGS 借鉴 NeRF 的做法，用**球谐函数（Spherical Harmonics, SH）**来表达颜色——给定观察方向 d，通过 SH 基函数求值得到 RGB。原论文用 3 阶 SH（共 48 个系数），足以刻画大多数视角相关的着色效果。

四、渲染：从 3D 椭球到像素

3DGS 真正的杀手锏是它的可微光栅化器。它把传统图形学的高性能光栅化流水线，改造成了完全可微的版本。整个过程分 4 步：

4.1 投影：3D 高斯 → 2D 高斯

3D 高斯在世界坐标系下是一个椭球。渲染时，要把它"压"到屏幕空间。

数学上，这个过程是通过投影雅可比矩阵 J完成的：

`1`	`Σ' = J · W · Σ · Wᵀ · Jᵀ`

其中 W 是世界到相机的变换，J 是投影的局部线性化。Σ’ 就是 2D 屏幕空间下的协方差矩阵——一个 2×2 的椭圆。

这一步是 3DGS 与传统体渲染最大的不同：它不是采样射线，而是直接把所有高斯"喷"（splat）到屏幕上。

4.2 划分 Tile

屏幕被切成 16×16 的网格。每个 2D 高斯根据其覆盖范围，被分配到一个或多个 Tile。同时做两件事剔除：

视锥剔除：完全在视锥外的高斯直接丢弃；
远处裁剪：太远的高斯直接剔除（避免无效贡献）。

4.3 深度排序

α 混合必须从前到后进行（否则会有错误的遮挡）。3DGS 在每个 Tile 内对高斯按视点距离排序——这里用了一个 GPU 友好的单 pass 基数排序，是速度的关键之一。

4.4 Alpha 混合

每个像素的颜色由所有覆盖它的高斯按顺序累积：

`1`	`C = Σᵢ cᵢ · αᵢ · ∏ⱼ<ᵢ (1 − αⱼ)`

其中：

cᵢ：第 i 个高斯在该视角下的颜色（由 SH 求值）；
αᵢ：不透明度 × 该像素在 2D 高斯分布下的取值；
Tᵢ = ∏ⱼ<ᵢ (1 − αⱼ)：透射率，表示"剩余多少光"。

优化技巧：当 Tᵢ 趋近 0 时，说明后续高斯被完全遮挡，可以直接 break 跳过——大幅节省渲染开销。

4.5 为什么这套渲染管线这么快？

不走神经网络前向，没有 MLP 计算；
Tile 并行：一个 GPU 线程块处理一个 Tile，并行度极高；
提前终止：T→0 时跳过被遮挡高斯。

这就是为什么 3DGS 能在 1080p 下跑到 100+ FPS，而 NeRF 同尺寸场景只能跑几秒一张。

五、训练：自适应密度控制是灵魂

只靠 SGD 优化高斯属性是不够的——SfM 给出的初始点云非常稀疏（几万个点），无法表达复杂场景。3DGS 的核心创新之一是自适应密度控制（Adaptive Density Control）：每 100 次迭代触发一次密度调整，根据每个高斯的"位置梯度"和"大小"决定下一步动作。

5.1 三种密度操作

操作	触发条件	物理含义	具体动作
克隆 Clone	小高斯 + 位置梯度大	欠重建区域，需要更多高斯	复制一份并随机位移
分裂 Split	大高斯 + 位置梯度大	一个高斯覆盖太大，需细分	替换为 2 个更小的高斯
剪枝 Prune	α < ε / 过大 / SH 重置	该高斯对渲染几乎没贡献	直接删除

位置梯度大意味着：这个高斯"想要"往某个方向移动，说明当前几何表示不到位。3DGS 用这个信号判断哪些区域需要更精细的几何。

5.2 训练损失

3DGS 用一个简单的组合损失：

`1`	`L = (1 − λ) · L1 + λ · D-SSIM`

L1：像素级绝对误差，保证整体颜色准确；
D-SSIM：结构相似度的 1-SSIM 版本，保证结构和感知质量；
λ = 0.2 在大多数场景下表现良好。

5.3 训练流程

用 SfM 稀疏点云初始化每个高斯的位置；
高斯大小、旋转、颜色初始值用启发式设定（如平均距离）；
每 100 步触发一次密度控制；
训练 30000 步左右收敛，单场景约 30~45 分钟。

这套机制的妙处在于：初始只有几万个高斯，最终能膨胀到几百万个——数量自动匹配场景复杂度，比固定分辨率网格灵活得多。

六、与 NeRF 的范式对决

3DGS 与 NeRF 经常被放在一起对比，因为它们解决的是同一类问题。这里做一个全面的对照：

维度	NeRF	3DGS
表示方式	隐式（MLP）	显式（高斯集合）
模型大小	紧凑（MB 级）	庞大（数百 MB ~ GB）
渲染速度	慢（秒级 / 张）	快（100+ FPS）
训练时间	几小时	30~45 分钟
几何平滑性	平滑，无悬浮	容易产生悬浮物
可编辑性	困难	直接操作高斯即可
视角相关性	强（依赖方向 d）	强（依赖 SH）
像素独立计算	是（射线采样）	否（Tile 共享排序）

核心差异在渲染范式：NeRF 走"逐像素射线采样 + 体渲染积分"，每个像素都要做几十~几百次 MLP 前向；3DGS 走"Tile + α 混合"，所有高斯一次性光栅化到屏幕。

3DGS 之所以能赢下实时性，本质上是把"每像素都要重复做的昂贵计算"换成了"一次性光栅化的廉价操作"。

七、3DGS 的六大缺陷

3DGS 并不完美。事实上，原论文本身就公开承认了这些局限，而过去两年大量后续工作都是围绕它们做"打补丁"。下面详细展开六大缺陷。

7.1 存储爆炸

这是最显眼的问题。一个 3D 高斯需要存储：

位置 3 + 缩放 3 + 旋转 4 + 不透明度 1 + SH(3 阶) 48 = 59 个 float ≈ 236 字节

一个无边界场景通常有 百万级高斯，单场景动辄 200~700 MB。这意味着：

移动端 / Web 端难以部署：浏览器加载一个 500MB 的 .ply 不现实；
存储成本飙升：一个数字孪生项目要存数百个场景，就是几十~几百 GB；
传输带宽吃紧：流式渲染 4K 场景对网络要求极高。

因此，压缩不是可选优化，而是 3DGS 从论文 demo 走向 Web、移动端和大规模资产库时必须解决的工程问题。

代表后续工作：LightGaussian（剪枝 + SH 蒸馏 + VQ 量化）、CompGS、SOG、EulerGS、3DGS 量化剪枝等，目标压缩比 10×~50×。

7.2 训练不算快

虽然 3DGS 训练比 NeRF 快很多，但 30~45 分钟 / 场景在工业场景仍偏慢。更严重的问题是：

显存占用大：训练时百万高斯需要 24GB+ 显存；
密度膨胀期显存飙升：分裂操作会让高斯数量在某个阶段爆炸式增长；
难以分钟级训练：交互式应用（如实时重建）几乎不可行。

代表后续工作：Mip-Splatting（抗锯齿）、AbsGrad（绝对梯度策略，加速收敛）、Warm-start 初始化等。

7.3 无法泛化

3DGS 必须每场景独立训练，不能"喂一张新图就出模型"。少样本（few-shot）场景下，高斯密度控制很容易崩塌——没有足够的视角监督，高斯会胡乱增长。

这与生俱来的限制让 3DGS 难以应用在：

AR 实时建模（用户拍几张照就出模型）；
机器人感知（环境快速重建）；
大规模城市采集（场景太多，逐个训练不现实）。

代表后续工作：PixelSplat、MVSplat、Splatter Image、LRM-Gauss 等——这些工作用 transformer 前馈网络直接从图像预测高斯参数，1 秒推理出模型，但质量仍不及原始 3DGS。

7.4 视觉伪影

3DGS 的渲染常见几类伪影：

悬浮高斯（Floaters / “飞虫”）：训练过程中没有被剪掉的离群高斯，会在视角移动时出现在场景中"飘"的小色块；
“弹出"伪影（Popping）：视角切换时某些高斯突然出现/消失，因为密度控制在不同视角下表现不一致；
缩放锯齿：放大场景时，2D 高斯投影的离散性导致锯齿严重；
远距离模糊：远处高斯采样不足，渲染时模糊。

这些问题大多源于一个根本原因：3DGS 用"离散点集 + 各向异性高斯"近似连续场景，在高频细节和反走样处理上天生不如体渲染。

代表后续工作：Mip-Splatting（3D 平滑滤波 + 屏幕空间膨胀，是当前抗锯齿的事实标准）、3DGS 正则化、深度一致性损失等。

7.5 动态场景弱

原版 3DGS 只支持静态场景。一旦场景中有运动物体，或者要做长视频重建，问题就出现了：

高斯没有时间维度，无法表达运动；
直接逐帧训练会导致帧间不一致（“闪烁”）；
长视频的存储和计算成本爆炸。

代表后续工作：4DGS、Deformable 3DGS（用形变场建模时间）、Dynamic 3D Gaussians、SC-GS（用控制网格驱动高斯运动）等。

7.6 鲁棒性弱

3DGS 强依赖 SfM 点云质量：

纹理稀疏区域（如白墙、天空）SfM 给不出点，3DGS 重建直接失败；
反光、透明物体 SfM 误差大，3DGS 跟着出错；
大场景下 SfM 漂移，导致重建几何偏差。

此外，3DGS 对初始化超参数也比较敏感——初始高斯大小、密度控制阈值等都需要场景相关调参。

代表后续工作：无 SfM 初始化（如随机点云、均匀采样）、深度监督（用 monodepth 先验）、GS-SLAM 类方法（在线增量重建）等。

八、总结

8.1 3DGS 一句话总结

3DGS = 显式高斯表示 + 可微光栅化 + 自适应密度控制。

它把"高质量新视角合成"从"实验室 demo"推向了"实时交互”，是过去两年计算机视觉最有影响力的工作之一。

8.2 它的核心贡献

表示：用百万级 3D 高斯显式建模场景，可微可优化；
渲染：定制可微光栅化器，把神经渲染速度提升两个数量级；
训练：自适应密度控制（克隆 / 分裂 / 剪枝）让表示自适应场景复杂度。

8.3 它的根本代价

速度	→	牺牲了存储（数百 MB / 场景）
显式性	→	牺牲了几何平滑性（悬浮伪影）
自适应	→	牺牲了训练稳定性（对初始化敏感）
实时性	→	牺牲了泛化能力（每场景重训）

每一次"快"的背后，都对应着一个"慢"的代价——这正是 3DGS 生态持续生长的动力。理解了这些缺陷，你就能更准确地选择何时用 3DGS、何时该走 NeRF 路线、何时该用混合方案。

参考资料

原论文：3D Gaussian Splatting for Real-Time Radiance Field Rendering (SIGGRAPH 2023)
项目主页：https://github.com/graphdeco-inria/gaussian-splatting
Mip-Splatting：https://github.com/nerfstudio-project/gsplat
LightGaussian：https://lightgaussian.github.io/

Computer Vision on Snow

How SfM Works: Recovering 3D Structure from Photos

How SfM Works: Recovering 3D Structure from Photos

What SfM Solves

The Pipeline

Features and Matches

Epipolar Geometry

Triangulation

Incremental Reconstruction

Bundle Adjustment

Scale, Failure Cases, and Downstream Use

Summary

3D Gaussian Splatting Principles:Rebuilding the World with Millions of Gaussians and Its Cost

3DGS 原理详解：用百万颗高斯重建世界，及其背后的代价

目录

一、为什么需要 3DGS

二、整体流程一览

三、表示：一个高斯长什么样

3.1 协方差的参数化技巧

3.2 为什么用球谐（SH）而不是直接存 RGB？

四、渲染：从 3D 椭球到像素

4.1 投影：3D 高斯 → 2D 高斯

4.2 划分 Tile

4.3 深度排序

4.4 Alpha 混合

4.5 为什么这套渲染管线这么快？

五、训练：自适应密度控制是灵魂

5.1 三种密度操作

5.2 训练损失

5.3 训练流程

六、与 NeRF 的范式对决

七、3DGS 的六大缺陷

7.1 存储爆炸

7.2 训练不算快

7.3 无法泛化

7.4 视觉伪影

7.5 动态场景弱

7.6 鲁棒性弱

八、总结

8.1 3DGS 一句话总结

8.2 它的核心贡献

8.3 它的根本代价

参考资料