2025-04-08 21:02 江苏
一种用于立体深度估计的基础模型，旨在实现强大的零样本泛化能力。
关注公众号，发现CV技术之美
本文转自机器之心。
本文介绍了 FoundationStereo，一种用于立体深度估计的基础模型，旨在实现强大的零样本泛化能力。通过构建大规模（100 万立体图像对）合成训练数据集，结合自动自筛选流程去除模糊样本，并设计了网络架构组件（如侧调谐特征主干和远程上下文推理）来增强可扩展性和准确性。这些创新显著提升了模型在不同领域的鲁棒性和精度，为零样本立体深度估计设立了新标准。
相关论文 FoundationStereo: Zero-Shot Stereo Matching 获得 CVPR 2025 满分评审，代码已开源。
对比常用 RGBD 相机:
目前 FoundationStereo 在 Middlebury, ETH3D 等多个排行榜位列第一。
引言
立体匹配算法虽在基准数据集上表现优异，但零样本泛化能力仍不足。现有方法依赖目标域微调，且受限于网络结构或数据规模。本文提出 FoundationStereo，通过大规模合成数据、自筛选流程及结合单目先验的架构设计，实现了无需微调的跨域泛化能力。主要贡献如下:
1.FoundationStereo 大模型
提出首个零样本泛化能力强大的立体匹配基础模型，无需目标域微调即可在多样场景（室内 / 室外、无纹理 / 反射 / 透明物体等）中实现高精度深度估计。
2. 大规模合成数据集（FSD）
构建包含 100 万立体图像对的高保真合成数据集，覆盖复杂光照、随机相机参数及多样化 3D 资产，并通过路径追踪渲染提升真实性。
设计迭代自筛选流程，自动剔除模糊样本（如重复纹理、纯色区域），提升数据质量。
3. 单目先验适配（STA 模块）
提出侧调谐适配器（STA），将单目深度估计模型（DepthAnythingV2）的互联网尺度几何先验与 CNN 特征结合，显著缓解合成到真实的域差距。
4. 注意力混合成本过滤（AHCF）
轴向平面卷积（APC）：将 3D 卷积解耦为空间和视差维度的独立操作，扩展感受野并降低计算开销。
视差 Transformer（DT）：在成本体积中引入跨视差自注意力机制，增强长程上下文推理能力。
5. 实验性能突破
零样本泛化：在 Middlebury、ETH3D 等基准上超越微调模型（如 Middlebury BP-2 误差从 7.5% 降至 1.1%）。
领域内最优：Scene Flow 测试集 EPE 刷新纪录（0.34），ETH3D 微调后排名第一。
方法
概览
1. 单目 - 立体协同：通过 STA 融合 ViT 的几何先验与 CNN 的匹配能力，缩小仿真 - 真实差距。
2. 成本体积高效滤波：APC（大视差核） + DT（全局注意力）实现多尺度上下文聚合。
3. 数据驱动泛化：百万级合成数据 + 自动筛选，覆盖极端场景（透明 / 反射 / 无纹理物体）。
单目基础模型适配（Monocular Foundation Model Adaptation）
1.动机：合成数据训练的立体匹配模型存在仿真 - 真实差距（sim-to-real gap），而单目深度估计模型（如 DepthAnythingV2）在真实数据上训练，能提供更强的几何先验。
2.方法：
采用侧调谐适配器（STA, Side-Tuning Adapter），将冻结的 DepthAnythingV2 ViT 特征与轻量级 CNN（EdgeNeXt-S）提取的特征融合。
实验对比三种融合策略（图 3 左）：
(a) 直接使用 ViT 特征金字塔 → 效果较差（缺乏局部细节）。
(b) ViT 与 CNN 双向特征交换 → 计算复杂，收益有限。
(c) ViT 最终层特征降维后与 CNN 特征拼接 → 最优选择（平衡效率与性能）。
关键优势：STA 模块保留 ViT 的高层语义先验，同时结合 CNN 的细粒度匹配能力，显著提升对模糊区域（如弱纹理、反射表面）的鲁棒性。
注意力混合成本过滤（Attentive Hybrid Cost Filtering）
1.混合成本体积构造（Hybrid Cost Volume Construction）
输入：STA 提取的左右图像 1/4 分辨率特征（fl4,fr4fl4,fr4）。
构造方式：
1.分组相关(Group-wise Correlation)：将特征分为 8 组，计算逐组相关性(VgwcVgwc)，增强匹配多样性。
2.特征拼接（Concatenation）：直接拼接左右图像特征（VcatVcat），保留单目先验信息。
3.最终成本体积：兼顾局部匹配与全局上下文。
2.轴向平面卷积（APC, Axial-Planar Convolution）
问题：传统 3D 卷积（如 3×3×3）对大视差范围计算代价高，且感受野有限。
改进：将 3D 卷积解耦为两部分：
1. 空间卷积(Ks×Ks×1Ks×Ks×1)：处理图像平面内的特征。
2. 视差卷积（1×1×Kd1×1×Kd）：沿视差维度聚合信息。
效果：在视差维度使用大核（如 Kd=17），显著提升长距离匹配能力，同时降低内存占用。
3.视差 Transformer（DT, Disparity Transformer）
动机：传统成本滤波缺乏全局视差关系建模。
设计：
1.将成本体积降采样至 1/16 分辨率，转换为视差序列 token。
2.通过 4 层 Transformer 编码器(含 FlashAttention)执行跨视差自注意力。
3.位置编码：实验表明余弦编码优于 RoPE（因视差维度固定）。
作用：增强对薄结构、重复纹理等复杂场景的匹配鲁棒性。
4.初始视差预测
对滤波后的成本体积 VC∗VC∗执行 Soft-Argmin，生成 1/4 分辨率的初始视差图 d0。
迭代优化（Iterative Refinement）
相关性体积查找：基于当前视差 dk，从 VC 和左右特征相关性体积 Vcorr中提取特征。
GRU 更新：
1. 输入：成本体积特征 + 当前视差 + 上下文特征（来自 STA）。
2. 采用 3 级 ConvGRU（粗到细）逐步优化视差，每级隐藏状态由上下文特征 初始化。
视差修正：通过卷积预测残差 Δd，更新视差
损失函数（Loss Function）
监督目标：
1.初始视差 d0：平滑 L1 损失。
2.迭代优化视差 {dk}{dk}：加权 L1 损失（权重随迭代指数衰减，γ=0.9）。
合成训练数据集（Synthetic Training Dataset）
数据生成：
1.工具：NVIDIA Omniverse 路径追踪渲染。
2.多样性增强：随机化相机参数（基线、焦距）、光照、物体布局。
3.场景类型：结构化室内 / 室外场景 + 随机飞行的复杂物体（图 4）。
自筛选流程：
1. 训练初始模型，在 FSD 上评估。
2. 剔除 BP-2 > 60% 的模糊样本（如无纹理区域、过度反射）。
3. 重新生成数据并迭代训练（共 2 轮），提升数据质量。
实验和结果
我们在 PyTorch 中实现了 FoundationStereo 模型，使用混合数据集进行训练，包括我们提出的 FSD 数据集以及 Scene Flow、Sintel、CREStereo、FallingThings、InStereo2K 和 Virtual KITTI 2 等公开数据集。采用 AdamW 优化器训练 20 万步，总 batch size 为 128，均匀分布在 32 块 NVIDIA A100 GPU 上。初始学习率设为 1e-4，在训练过程进行到 80% 时衰减为原来的 0.1 倍。输入图像随机裁剪为 320×736 大小，并采用与 IGEV 类似的数据增强方法。训练时使用 22 次 GRU 迭代更新，而在后续实验中（除非特别说明），我们使用相同的基础模型进行零样本推理，采用 32 次精炼迭代和 416 的最大视差范围。除非特别说明，我们用同一权重的大模型进行零样本的泛化测试。
在消融实验中，我们系统验证了模型各关键组件的有效性：首先比较了不同单目基础模型（DepthAnythingV2 和 DINOv2）及其融合策略，发现 ViT 特征降维拼接 CNN 的 STA 设计效果最佳；其次测试了 AHCF 模块中位置编码（余弦编码优于 RoPE）、注意力范围（仅视差维度优于全成本体积）和 APC 卷积核配置（视差核尺寸 17 时性能饱和）；最后证明了引入 FSD 数据集能显著提升泛化性（Middlebury 上 BP-2 指标从 2.34% 降至 1.15%）。这些实验全面支撑了模型设计的合理性。
FoundationStereo 在透明和千纹理物体上也表现出很好的泛化性:
团队介绍
该论文来自于英伟达研究院。其中论文一作华人温伯文博士任高级研究员，此前曾在谷歌 X，Facebook Reality Labs, 亚马逊和商汤实习。研究方向为机器人感知和 3D 视觉。获得过 RSS 最佳论文奖提名。个人主页： https://wenbowen123.github.io/
END
欢迎加入「目标检测」交流群👇备注：
