量子位 前天 01:31
突破户外RGB-only SLAM尺度漂移难题,精确定位+高保真重建 | ICCV'25开源
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

香港科技大学(广州)的研究团队提出了S3PO-GS,一个创新的户外单目SLAM三维高斯框架,首次实现了全局尺度一致性。该框架通过自洽跟踪模块、动态建图机制和联合优化架构,有效解决了单目深度估计和端到端点云模型在户外场景中存在的尺度漂移和几何信息缺失问题。S3PO-GS在Waymo、KITTI和DL3DV等基准测试中刷新了新视角合成SOTA纪录,并在DL3DV场景中显著降低了跟踪误差,为户外高精度重建树立了新标杆。

🌟 S3PO-GS框架创新性地解决了户外单目SLAM中的尺度漂移和几何信息缺失难题。通过引入一个尺度自洽的3D高斯(3DGS)点云图跟踪模块,并结合动态建图机制和联合优化架构,该框架能够实现全局尺度一致性,显著提升了在复杂户外环境下的定位精度和场景重建质量。

🚀 核心技术亮点在于其自洽跟踪模块,它利用3DGS渲染生成尺度自洽的3D点云图,并与当前帧建立精准的2D-3D对应关系,有效消除了位姿估计中的漂移误差。同时,动态建图机制中的局部patch尺度对齐算法,能够动态校准预训练点云图与3DGS场景的尺度参数,成功解决了单目深度估计带来的尺度模糊问题。

📊 在Waymo、KITTI和DL3DV三大户外基准测试中,S3PO-GS展现出卓越性能。它在跟踪精度上超越所有现有3DGS-SLAM方法,尤其在DL3DV场景中将跟踪误差降低了77.3%。此外,在新视角合成任务中,其PSNR指标达到26.73,刷新了SOTA纪录,为无界户外场景的实时高精度重建提供了新的可能。

💡 该研究通过点云替换策略与几何监督损失函数,构建了联合优化架构,实现了定位精度与场景重建质量的同步提升。相机位姿优化为场景重建提供精确视角约束,而动态校准的高斯地图则为后续帧跟踪提供几何一致性保障,形成了强大的闭环反馈机制。

关注前沿科技 2025-07-18 14:17 北京

户外SLAM的尺度漂移问题有了新解法

S3PO-GS团队 投稿量子位 | 公众号 QbitAI

户外SLAM的尺度漂移问题,终于有了新解法!

香港科技大学(广州)的研究的最新成果:S3PO-GS,一个专门针对户外单目SLAM的3D高斯框架,已被ICCV 2025接收。

项工作的亮点在于首次实现了RGB单目SLAM的全局尺度一致性。在Waymo、KITTI和DL3DV三大户外基准测试中,S3PO-GS不仅在新视角合成任务中刷新了SOTA纪录,更是在DL3DV场景中将跟踪误差降低了77.3%。

这篇文章做了什么?

在自动驾驶、机器人导航及AR/VR等前沿领域,SLAM技术的鲁棒性直接影响系统性能。

当前基于3D高斯(3DGS)的SLAM方案虽在室内场景表现卓越,但在仅依赖RGB输入的无界户外环境中仍面临严峻挑战:

单目系统固有的深度先验缺失导致几何信息不足,而引入单目深度估计或端到端点云模型(如MASt3R)作为几何先验时,又因帧间尺度不一致性引发系统级尺度漂移,该问题在复杂户外场景尤为突出。

针对这一双重瓶颈,香港科技大学(广州)研究团队提出创新框架S3PO-GS ,首次实现RGB单目SLAM的全局尺度一致性。

该方案通过三大核心技术突破:

首先开发自洽跟踪模块,利用3DGS渲染生成尺度自洽的3D点云图,并与当前帧建立精准的2D-3D对应关系,从而消除位姿估计中的漂移误差;

其次设计动态建图机制,创新性提出基于局部patch的尺度对齐算法,动态校准预训练点云图(MASt3R)与3DGS场景的尺度参数,解决尺度模糊问题;

最后构建联合优化架构,通过点云替换策略与几何监督损失函数,同步提升定位精度与场景重建质量。

在Waymo、KITTI及DL3DV三大户外基准测试中,S3PO-GS展现出显著优势:其跟踪精度超越所有现有3DGS-SLAM方法,尤其在DL3DV场景中将误差降低77.3%;同时在新视角合成任务中刷新SOTA纪录,Waymo数据集PSNR指标达到26.73,为无界户外场景的实时高精度重建树立了新标杆。

基本原理

如图所示,S3PO-GS系统工作流始于地图初始化阶段:通过1000步迭代优化MASt3R预训练点云图,构建初始3D高斯场景表示。

当新输入帧  进入跟踪阶段时,系统首先栅格化渲染相邻关键帧  的3D高斯点图,随后与当前帧进行特征匹配建立2D-3D对应关系,基于此估计尺度自洽的相机位姿并利用光度损失进行精细化调整。

若  被选为关键帧则触发动态建图机制

系统同步获取当前渲染点图  与预训练点图 ,执行核心的基于局部patch的尺度对齐算法——通过裁剪具有相似分布的图像patch、实施归一化处理、筛选几何一致性点云,最终计算缩放因子实现  的精准校准。

在联合优化阶段,系统基于对齐点图同步优化高斯地图参数与相机位姿,形成定位与重建相互强化的闭环:

相机位姿优化为场景重建提供精确视角约束,而动态校准的高斯地图则为后续帧跟踪提供几何一致性保障,从而实现高精度定位与高保真重建的协同跃升。

动态建图机制

此算法的核心洞见在于:

一方面,3DGS渲染点图  虽因重建不完整存在几何缺失,但其尺度与场景全局严格自洽;

另一方面,预训练点图 (如MASt3R)虽能感知像素级空间关系,却因帧间尺度歧义与当前高斯地图尺度失配。

针对此矛盾特性,本工作提出动态双向校准机制

首先实施基于局部patch的尺度对齐——通过块相似性分析筛选空间分布一致的高置信度点,建立 与  的局部映射关系,求解最优缩放因子  将  精准映射至场景尺度空间;

继而执行几何-尺度解耦融合,以校正后的点图  作为几何监督信号,选择性修补  的残缺区域,最终形成尺度统一且几何完备的场景先验。

其中尺度对齐算法详细流程如下:

实验效果展示

定量对比

新视角渲染对比

如下图所示,本方法渲染的高保真图像可精准捕捉车辆纹理、街道细节与建筑结构。在深度变化复杂的区域(如树枝分叉处、路边车辆堆叠场景),渲染的深度图精度显著提升。

Waymo (上三行)和KITTI (下三行)

DL3DV

追踪轨迹对比

如下图所示在剧烈视角变动场景下,本方案展现出卓越的抗视角剧变能力,位姿追踪稳定性显著超越现有3DGS SLAM方法。

总结

本研究提出了S3PO-GS,一个面向户外单目场景的三维高斯泼溅(3D Gaussian Splatting)SLAM框架,具备尺度自洽点云图(scale self-consistent pointmap),以应对户外场景中常见的尺度漂移和几何先验缺失问题。

通过引入一个尺度自洽的3DGS点云图跟踪模块,将位姿估计所需的迭代次数减少至传统方法的10%,并在如Waymo等复杂数据集上实现了精确的相机追踪。

此外,提出了一种基于局部补丁匹配的动态patch映射机制,有效解决了单目深度尺度模糊的问题,并显著提升了重建质量。

实验结果表明,本方法在3DGS SLAM的跟踪精度和新视角合成方面设立了新的基准。未来的工作将探索回环检测和大规模动态场景优化,以拓展该方法在户外SLAM中的应用边界。

原文链接:https://arxiv.org/abs/2507.03737代码链接:https://github.com/3DAgentWorld/S3PO-GS官方主页:https://3dagentworld.github.io/S3PO-GS/

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

—  —

🌟 点亮星标 🌟

科技前沿进展每日见

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

户外SLAM 尺度漂移 3D高斯 S3PO-GS 计算机视觉
相关文章