我爱计算机视觉 04月03日 22:45
TPAMI 2025 | 国防科大提出RGBT-Tiny数据集与SAFit指标,推动小目标检测技术发展
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

国防科技大学团队发布了RGBT-Tiny基准数据集和SAFit评价指标,填补了可见光-红外双模态小目标检测领域的空白。该数据集包含115组对齐序列、9.3万帧图像和120万个标注,覆盖7类目标和8种场景,81%的目标小于16x16像素,挑战性极高。为了解决小目标检测评价指标的难题,研究团队提出了SAFit,一种基于Sigmoid加权IoU和NWD的评价指标,能够根据目标尺寸动态调整评估权重,更准确地评估小目标检测性能。通过在RGBT-Tiny数据集上对30种主流目标检测算法的全面评估,该研究为RGBT小目标检测提供了重要的基准和方法论参考。

🔬RGBT-Tiny数据集是首个大规模RGBT小目标检测数据集,包含115组对齐序列、9.3万帧图像和120万个标注,覆盖7类目标和8种场景。

🎯该数据集具有极高的挑战性,81%的目标小于16×16像素,且包含极端光照和高密度场景,对检测算法提出了严峻考验。

📏SAFit是一种新的评价指标,通过Sigmoid加权IoU和NWD,能够根据目标的尺寸动态调整评估权重,更准确地评估小目标检测性能。

💡研究团队在RGBT-Tiny数据集上对30种主流目标检测算法进行了全面评估,为该领域提供了重要的数据基准与方法论参考。

2025-04-02 16:24 江苏




关注公众号,发现CV技术之美




在无人机监控、自动驾驶、夜间搜救等场景中,小目标检测(如远处行人、微型无人机)一直是技术难点——目标尺寸小、背景干扰多、光照条件复杂。

现有数据集多聚焦单一模态(可见光或红外成像),且目标尺寸偏大、场景单一,难以满足实际需求,针对可见光-红外双模态(Visible-Thermal, RGBT)小目标检测的研究却鲜有突破。

为了填补这一空白,国防科技大学团队最新发布RGBT-Tiny基准数据集SAFit评价指标,填补领域空白,为RGBT小目标检测提供了一个全新的基准和评估工具。


RGBT-Tiny:首个大规模RGBT小目标检测数据集

图1 RGBT-Tiny数据集示例
    丰富多样:115组对齐序列、9.3万帧图像、120万标注,覆盖7类目标(如船舶、汽车、行人等)和8种场景(如海洋、湖泊、城市道路等)。
    极致挑战:81%目标小于16×16像素,包含极端光照(白天高光、夜间低光/不可见光)和高密度场景(单帧最多161个目标)。
    精准对齐:通过专业校准和图像裁剪,解决可见光与热成像镜头的视场和分辨率偏差,确保跨模态数据精准匹配。
    应用广泛:提供双光匹配的边界框标注和跟踪ID,支持多模态融合、目标检测和跟踪等多种任务。

SAFit:适应不同目标尺度的鲁棒评价指标

图2 不同评价指标的量化结果对比

传统基于IoU(Intersection Over Union)度量的小目标检测评价指标对小目标的位置偏差敏感,难以准确评估检测性能。

为此,研究团队提出了一种新的评价指标SAFit(Scale Adaptive Fitness),通过Sigmoid加权IoU和NWD(Normalized Wasserstein Distance),能够根据目标的尺寸动态调整评估权重:

    对于小目标,SAFit更关注位置偏差的鲁棒性;
    对于大目标,SAFit更注重边界框的精确度。

实验表明,SAFit能够实现可调控多尺度目标鲁棒评估,配套设计的SAFit损失函数优化检测模型的训练收敛。


实验验证:30种算法全面评测

表1 不同算法检测性能量化结果对比

基于RGBT-Tiny数据集和SAFit指标,研究团队对30种主流目标检测算法进行了全面评估,包括:

    可见光通用目标检测(如YOLO、Faster R-CNN);
    可见光小目标检测(如RFLA、QueryDet);
    热红外小目标检测(如ACM、DNA-Net);
    RGBT目标检测(如UA-CMDet、CMA-Det)。

研究团队总结跨模态语义冲突等核心挑战和跨模态语义调制等有效方案,为该领域提供了重要数据基准与方法论参考。

最新 AI 进展报道
请联系:amos@52cv.net

END




欢迎加入「目标检测交流群👇备注:OD




阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

RGBT 小目标检测 数据集 SAFit
相关文章