国防科技大学团队发布了RGBT-Tiny基准数据集和SAFit评价指标，填补了可见光-红外双模态小目标检测领域的空白。RGBT-Tiny数据集包含115组对齐序列、9.3万帧图像和120万标注，涵盖7类目标和8种场景，其中81%的目标小于16×16像素，挑战性极高。SAFit指标通过Sigmoid加权IoU和NWD，能够根据目标尺寸动态调整评估权重，更准确地评估小目标检测性能。研究团队基于RGBT-Tiny数据集和SAFit指标，对30种主流目标检测算法进行了全面评估，为该领域提供了重要的基准和方法论参考。
🔍 RGBT-Tiny数据集是首个大规模RGBT小目标检测数据集，包含115组对齐序列、9.3万帧图像，120万标注，覆盖7类目标和8种场景，为RGBT小目标检测提供了新的数据基准。
🎯 该数据集具有极高的挑战性，81%的目标小于16×16像素，且包含极端光照和高密度场景，对检测算法提出了更高的要求。
📏 SAFit评价指标通过Sigmoid加权IoU和NWD，根据目标尺寸动态调整评估权重，解决了传统IoU指标对小目标位置偏差敏感的问题，提高了评估的鲁棒性。
💡 研究团队基于RGBT-Tiny数据集和SAFit指标，对30种主流目标检测算法进行了全面评估，总结了跨模态语义冲突等核心挑战和跨模态语义调制等有效方案，为该领域提供了重要的方法论参考。
2025-04-02 16:24 江苏
在无人机监控、自动驾驶、夜间搜救等场景中，小目标检测（如远处行人、微型无人机）一直是技术难点——目标尺寸小、背景干扰多、光照条件复杂。
现有数据集多聚焦单一模态（可见光或红外成像），且目标尺寸偏大、场景单一，难以满足实际需求，针对可见光-红外双模态（Visible-Thermal, RGBT）小目标检测的研究却鲜有突破。
为了填补这一空白，国防科技大学团队最新发布RGBT-Tiny基准数据集和SAFit评价指标，填补领域空白，为RGBT小目标检测提供了一个全新的基准和评估工具。
论文标题：Visible-Thermal Tiny Object Detection: A Benchmark Dataset and Baselines
RGBT-Tiny：首个大规模RGBT小目标检测数据集
图1 RGBT-Tiny数据集示例丰富多样：115组对齐序列、9.3万帧图像、120万标注，覆盖7类目标（如船舶、汽车、行人等）和8种场景（如海洋、湖泊、城市道路等）。极致挑战：81%目标小于16×16像素，包含极端光照（白天高光、夜间低光/不可见光）和高密度场景（单帧最多161个目标）。精准对齐：通过专业校准和图像裁剪，解决可见光与热成像镜头的视场和分辨率偏差，确保跨模态数据精准匹配。应用广泛：提供双光匹配的边界框标注和跟踪ID，支持多模态融合、目标检测和跟踪等多种任务。
SAFit：适应不同目标尺度的鲁棒评价指标
图2 不同评价指标的量化结果对比传统基于IoU（Intersection Over Union）度量的小目标检测评价指标对小目标的位置偏差敏感，难以准确评估检测性能。
为此，研究团队提出了一种新的评价指标SAFit（Scale Adaptive Fitness），通过Sigmoid加权IoU和NWD（Normalized Wasserstein Distance），能够根据目标的尺寸动态调整评估权重：
实验表明，SAFit能够实现可调控多尺度目标鲁棒评估，配套设计的SAFit损失函数优化检测模型的训练收敛。
实验验证：30种算法全面评测
表1 不同算法检测性能量化结果对比
基于RGBT-Tiny数据集和SAFit指标，研究团队对30种主流目标检测算法进行了全面评估，包括：
可见光通用目标检测（如YOLO、Faster R-CNN）；可见光小目标检测（如RFLA、QueryDet）；RGBT目标检测（如UA-CMDet、CMA-Det）。
研究团队总结跨模态语义冲突等核心挑战和跨模态语义调制等有效方案，为该领域提供了重要数据基准与方法论参考。
最新 AI 进展报道
请联系：amos@52cv.net
阅读原文
跳转微信打开
