CV君 2025-08-08 18:21 江苏
代码已开源
本篇介绍的论文是《Rotation Equivariant Arbitrary-scale Image Super-Resolution》，它被计算机视觉顶级期刊 IEEE TPAMI 接收。该研究由西安交通大学、澳门科技大学等机构的研究者共同完成。
这项工作聚焦于任意尺度图像超分辨率（Arbitrary-scale Image Super-Resolution, ASISR），旨在从一张低分辨率（LR）输入中，恢复出具有任意放大倍数的高分辨率（HR）图像。研究团队通过将旋转等变性（rotation equivariance）这一关键特性嵌入到ASISR网络中，首次实现了从输入到输出的端到端旋转等变，显著减少了由旋转、形变引起的图像伪影，提升了恢复质量。该方法作为一个即插即用的模块，可以轻松集成到现有ASISR方法中，进一步增强其性能。
论文标题：Rotation Equivariant Arbitrary-scale Image Super-Resolution
作者：Qi Xie, Jiahong Fu, Zongben Xu, Deyu Meng
机构：西安交通大学、澳门科技大学
论文地址：https://arxiv.org/pdf/2508.05160v1
项目地址：https://github.com/XieQi2015/Equivariant-ASISR
录用期刊：IEEE TPAMI
研究背景与意义
任意尺度图像超分辨率（ASISR）是近年来计算机视觉领域的一个热门方向。它不像传统的超分技术只能放大固定倍数（如2x, 4x），而是希望能够灵活地将图像放大到任意尺寸。这通常通过将图像表示为一个连续的隐式函数来实现，其核心包括一个深度网络编码器（Encoder）和一个隐式神经表示（Implicit Neural Representation, INR）模块。
尽管ASISR取得了长足进步，但它本质上是一个高度病态（ill-posed）的问题。在低分辨率图像中，许多常见的几何图案，如重复的纹理、边缘或形状，会发生严重的扭曲和变形。这导致现有方法在恢复高分辨率图像时，常常会产生意想不到的伪影（artifacts）。
为了解决这个问题，研究者们认为，将旋转等变性（rotation equivariance）引入ASISR网络至关重要。一个具备旋转等变性的网络，意味着当输入图像旋转时，其输出（或内部特征）也会相应地发生旋转，而不会改变其内在结构。这种特性能够更好地保持输入图像中固有几何图案的原始方向和结构完整性，从而生成更忠实、更自然的高分辨率结果。
下图直观展示了引入旋转等变性前后的差异。对于旋转后的输入图像，传统的ASISR方法（LIIF）无法保证其输出也相应旋转，导致结果不一致；而增强后的方法（LIIF-EQ）则能很好地保持这种一致性。
主要研究内容与方法
受上述观察启发，本研究致力于构建一个旋转等变的ASISR方法（Rot-E ASISR）。作者没有采用简单的数据增强策略，而是从网络架构本身入手，精心重新设计了编码器和INR模块，使它们具备内生的旋转等变能力。
该研究的核心是确保从编码器提取特征到INR模块解码生成像素值的整个流程都满足旋转等变性。
具体的框架如下图所示，主要包含两个旋转等变的核心组件：
旋转等变编码器 (Rot-E Encoder) ：该编码器可以使用旋转等变卷积网络（Rot-E convolutions）或旋转等变Transformer（Rot-E transformers）来构建。它确保当输入图像旋转时，提取出的特征图也进行相应的旋转。
旋转等变INR模块 (Rot-E INR) ：这是实现等变性的关键。该模块的输入层、中间层和输出层都经过特殊设计，以处理旋转后的坐标和特征。它通过将输入的坐标进行旋转群（rotation subgroup）的所有元素变换，来“提升”坐标，并确保后续的全连接层（MLP）能够保持等变特性。
此外，论文还提供了坚实的理论分析来评估其固有的等变误差，从理论上证明了所提方法嵌入等变结构的内在特性。
在滤波器参数化的具体实现上，该方法也展示了其优越性。与Harmonic expansion (E2-CNN)等方法相比，该文提出的方法能更精确地拟合滤波器的2D函数。
实验设计与结果
为了验证方法的有效性，研究者在多个模拟和真实世界数据集上进行了广泛的实验。结果表明，与现有的SOTA（State-of-the-Art）ASISR方法相比，所提出的Rot-E ASISR在各种评估指标下均表现出优越的性能，尤其是在处理包含丰富几何纹理和结构的图像时，效果提升更为明显。
一个重要的验证是，该框架可以作为即插即用的模块，轻松集成到当前的ASISR方法（如LIIF）中，并显著提升它们的性能，证明了其良好的通用性和实用性。
ASISR方法
现实世界任意比例图像SR
高光谱图像SR泛化
热成像SR泛化
消融结果
论文贡献与价值
本文的主要贡献可以总结如下：
首次提出并实现了一个端到端的旋转等变任意尺度超分辨率（ASISR）框架，有效解决了传统方法在处理旋转和几何形变时产生的伪影问题。
精心设计了旋转等变的编码器和INR模块，并从理论上分析了其等变误差，为构建等变深度学习模型提供了新的思路。
所提出的框架具有即插即用的特性，可以方便地与现有方法结合，提升其性能，具有很高的实用价值。
开源了代码和补充材料，方便社区进行复现和进一步研究。
总而言之，这项工作为解决任意尺度超分中的几何失真问题提供了一个优雅而有效的方案，对推动隐式神经表示在图像恢复领域的应用具有重要意义。
了解最新 AI 进展，欢迎关注公众号
投稿寻求报道请发邮件：amos@52cv.net
