本文介绍了一种名为Falcon的社交导航新算法，旨在提升机器人在复杂环境中的导航能力。该算法结合轨迹预测技术，实现长期动态避障，并构建了两个新的数据集，以弥补现有基准的不足。实验结果表明，Falcon在目标达成、社交合规等方面表现出色，能够有效适应未见过的复杂动态环境。Falcon通过预测行人未来轨迹，主动调整路径，实现安全高效的导航，为机器人社交导航研究提供了新的思路和方法。

🤖Falcon算法的核心在于其主策略网络和时空预知模块。主策略网络通过社会认知惩罚机制，引导机器人规避碰撞风险并保持社交距离。时空预知模块则结合轨迹预测等辅助任务，增强机器人对未来环境动态变化的预测能力，从而实现长期动态避障和提升导航性能。

🏢为了解决现有社交导航基准的局限性，研究团队构建了两个新数据集——Social-HM3D 和 Social-MP3D。这两个数据集基于高精度3D扫描，涵盖多种室内场景，并采用多目标导向的轨迹生成算法，模拟人类自然行为。新数据集为社交导航研究提供了更贴近真实场景的评估环境。

🏆实验结果表明，Falcon在目标达成和社会合规方面表现出色。在Social-HM3D数据集中，Falcon成功率达到55.15%，即使在未训练过的Social-MP3D数据集上也能取得55.05%的成功率。此外，Falcon在保持社交距离和避免碰撞方面表现良好，接近90%的个人空间合规性，人机碰撞率接近42%。

💡研究团队通过实验得出三个关键发现：未来感知算法优于实时感知算法；辅助任务有助于提高性能，其中轨迹预测效果最为显著；社会认知惩罚机制（SCP）和时空预知模块（SPM）相辅相成，改善性能并加快训练收敛速度。

机器人落地复杂场景，社交导航能力一定是避不开的关键一点。

先简单介绍下，社交导航（SocialNav，Social navigation）是指在人机共存的环境中，机器人在遵循社会规范的前提下执行导航任务。

就拿下图来说，机器人需导航至目标点，而目标恰好位于两名行人未来轨迹的交汇区域。

它不仅要灵活避免潜在的碰撞风险，还需与行人保持合适的社交距离。

总而言之，社交导航该任务对视觉导航领域提出了独特挑战：

预建地图的方法难以适应人群密集的动态环境，而现有 RL 方法存在短视决策和依赖全局信息的问题。

近期，香港科技大学（广州）和香港科技大学联合提出了一种新算法，Falcon。

它通过将轨迹预测算法融入社交导航任务中，实现长期动态避障并提升导航性能。

社交导航的另一个重要挑战则是现有基准的真实性不足。

如下所示，现有基准通常存在以下几方面的局限性：

场景复杂性不足：仅关注机器人与人类的交互，而忽略场景本身复杂性。

人类行为不自然：行人动作僵硬、运动模式失真，难以反映实际场景交互。

针对上述局限性，研究团队构建了两个新数据集 ——Social-HM3D 和 Social-MP3D，作为社交导航任务的新基准。

该项目论文已被 ICRA 2025 接收，同时已经挂上 arXiv。代码和模型权重可到 GitHub 寻找。

Falcon：集成轨迹预测辅助任务的强化学习框架

Falcon 算法框架由 2 个模块组成：

主策略网络 (MPN，Main Policy Network)

时空预知模块 (SPM，Spatial-temporal Precognition Module)



主策略网络：让机器人学会“遵守规则”

模块一，主策略网络，这是 Falcon 的“大脑”，负责指导机器人如何行动。

其核心是社会认知惩罚（SCP，Social Cognition Penalty）机制，通过设计专门的惩罚函数，避免机器人干扰人类未来轨迹，从而引导智能体规避碰撞风险并保持社交距离。

具体而言，Falcon 引入三个关键惩罚项：

障碍物碰撞惩罚 ：严厉惩罚机器人撞到静态障碍物或行人。

人类接近惩罚：当机器人靠近行人时，随距离减小增加惩罚。

轨迹阻碍惩罚：如果机器人干扰行人未来路径，则提前施加惩罚。

时空预知模块：让机器人学会“提前规划”

模块二，时空预知模块（SPM），结合轨迹预测与多种社交感知辅助任务，显著增强了机器人对未来环境动态变化的预测能力。

其主要功能包括：

人类数量估计：预测场景中有多少人，帮助评估环境复杂程度。

当前位置跟踪：实时跟踪行人位置，快速响应变化。

未来轨迹预测：预测未来几秒行人路径，提前规划避障。

关键在于，辅助任务仅在训练阶段使用。在推理阶段，机器人仅依赖主策略网络进行决策。这种设计简化了推理过程，确保模型在实际应用中的高效性。

特意构建两个新的数据集

现有社交导航基准存在诸多不足，如场景过于简化、人类行为不自然等。

以下表格为现有的社交导航模拟器与数据集统计特性对比：



为弥补这些缺陷，研究人员构建了两个新数据集 ——Social-HM3D 和 Social-MP3D，具备以下优势：

真实场景重建：基于高精度 3D 扫描，涵盖公寓、办公楼、商场等多种室内场景。

自然人类行为：采用多目标导向的轨迹生成算法和 ORCA 动态避障模型，模拟人类行走、休息等自然行为。

合理人群密度：根据场景面积动态调整人类数量，确保交互密度适中。

研究团队表示，这两个基准既平衡了人机交互的社交密度，同时也避免了过度拥挤。



这一基准为社交导航研究提供了更贴近真实场景的评估环境，并且支持推广到有人环境下的物体导航、图像导航等下游任务。

实验部分

在定量分析方面，实验表明，Falcon 在目标达成和社会合规方面表现出色：

其一是目标达成。

在 Social-HM3D 中达到 55.15% 的成功率和成功路径效率（SPL，Success weighted by Path Length）。

即使在未训练过的 Social-MP3D 数据集上，也能取得 55.05% 的成功率。

其二是社会合规。

在保持社交距离和避免碰撞方面表现良好，达到接近 90% 的个人空间合规性（Personal Space Compliance, PSC）和接近 42% 的人机碰撞率。



定量结果表明，Falcon 不仅在已知环境中表现出色，还能有效适应未见过的复杂动态环境。

在定性分析方面，下图的定性结果展示了 Falcon 在不同典型场景中的优越性 ——

第一个是人员跟随情境。

Falcon 通过预测行人未来轨迹，主动调整速度和路径，保持安全距离。



第二个是复杂交叉路口。

面对行人和静态障碍物同时存在的场景，Falcon 提前预测并规划出安全高效的路径。



第三个是正面接近情境。

传统的 RL 算法 Proximity-Aware 试图直接从行人面前穿过导致碰撞，Falcon 通过预测行人未来轨迹，提前调整路径并安全避开。



3 个关键发现

各项实验后，团队有了三个关键发现：

发现 1，未来感知算法优于以往实时感知算法。

静态路径规划算法（如 A*）无法适应动态环境，而实时感知方法（如 ORCA 和 Proximity-Aware）虽能被动避障，但仍存在延迟反应问题。

相比之下，Falcon 能够主动预测行人轨迹并提前调整路径，显著提升了安全性和效率。

发现 2，辅助任务有助于提高性能，其中轨迹预测最重要。

下表展示了不同辅助任务对导航性能的影响。

其中轨迹预测（SPM.Traj）效果最为显著，成功率从 40.94% 提升至 54.00%。



发现 3，SCP 和 SPM 相辅相成，改善性能并加快训练收敛。

下图图中为消融研究中的训练曲线。

可以观察到，具有 SPM 和 SCP 的完整 Falcon 模型收敛更快，性能更好。



SCP 在提升模型性能方面发挥关键作用，尤其是与 SPM 集成后，整体性能进一步提升（从 53.63% 提高至 55.15%），并加快训练收敛速度。

项目主页：

https://zeying-gong.github.io/projects/falcon/

论文链接：

https://arxiv.org/abs/2409.13244

代码链接：

https://github.com/Zeying-Gong/Falcon

本文来自微信公众号：量子位（ID：QbitAI），作者：龚泽颖