医学图像分割（Medical Imaging Segmentation，MIS）在计算机辅助诊断、治疗规划和疾病监测等领域具有关键作用，但由于数据获取受限、标注复杂、目标结构多样以及模态差异等因素，要得到准确的分割结果依然困难。

论文地址：https://arxiv.org/abs/2505.09274

相关仓库：https://github.com/faresbougourzi/Awesome-DL-for-Medical-Imaging-Segmentation

一、医学图像分割的挑战

数据获取困难：隐私法规限制共享；像素级标注耗时费力，需多位专家反复校验，标注要求极高。

类别不平衡与噪声干扰：少数类（如病灶）出现频率低，图像常含低对比度、弱边界和成像伪影。

泛化能力弱：不同设备、模态和患者间存在“域偏移”，模型迁移性差。

计算资源需求高：深度学习模型通常庞大，对数据和算力要求高，不利于临床部署。

二、生成式AI在医学图像分割中的应用

生成模型（如 GAN、扩散模型）通过生成逼真样本来增强数据集、提升模型泛化能力，主要应用包括：

1. 生成对抗网络（GAN）

GAN 由生成器和判别器组成，核心思想是“以假乱真”地生成图像：

CycleGAN：可实现CT-MRI之间的图像翻译，结合形状一致性损失，有助于跨模态学习。

对抗式训练分割网络：如 DAN 框架，引入判别器协助利用未标注数据。

2. 扩散模型（DDPM）

通过加噪再去噪的过程生成图像：

MedSegDiff：采用双编码器结构，引入傅里叶降噪和注意力机制，生成更精确的分割掩码。

混合模型：将GAN与DDPM结合，提升对复杂结构（如血管）的分割性能。

生成式AI应用总结：

用于数据增强、风格迁移、无监督/自监督学习。

已在多个任务中与监督方法性能相当，但仍需标准化评测以全面比较不同方法效果。

三、少样本学习（FSS）在医学图像中的应用

少样本分割（Few-Shot Segmentation）致力于用极少量标注样本识别新类别，具有极大现实意义：

原理简介：

使用支持集（含k张已标注图像）指导模型对查询图像进行新类别分割。

采用任务驱动训练（episodic training），训练与测试类别互不重叠。

应用案例：

Visceral数据集：早期工作通过一张支持图像完成肝、脾、肾等器官分割。

St1/St2-Abd-CT/MRI等设置：多个工作采用统一评估协议，便于比较。

跨机构学习（如Prostate-MRI）：增强了模型在不同设备和数据源间的泛化能力。

主流方法：

原型网络（Prototypical Network）：提取支持集原型向量，对查询图像进行相似度匹配。

条件网络（Conditional Network）：根据支持图像生成参数，调节查询图像分割过程。

混合方法：结合空间引导、注意力机制、解剖先验等辅助模块，提升性能。

持续挑战：

分割边界模糊、背景结构复杂；

目前多集中于少数类器官，任务种类单一；

各方法评测协议略有差异，影响公平比较。

四、基础模型（SAM）在医学图像分割中的适配与挑战

基础模型（Foundation Models）具备“即插即用”的潜力。代表性模型 SAM（Segment Anything Model） 是由 Meta 推出的通用分割模型，可根据点、框或文本提示输出掩码。

SAM架构：

图像编码器：基于ViT，提取全图特征；

提示编码器：处理用户输入（点、框、掩码或文本）；

掩码解码器：融合图像与提示，生成最终分割掩码。

医学图像中的应用方式：

零样本评估：直接测试原始SAM性能，发现对结构明确的目标表现较好。

参数高效微调（PEFT）：冻结主干，仅微调部分模块以适配医学任务；

自动提示生成：利用检测或特征相似性方法自动生成提示，减少人工干预；

3D拓展版本：适应医学图像的体积特性，提升分割效果。

存在问题：

对低对比度、边界模糊的结构表现欠佳；

未能充分利用交互式提示的优势；

仍需优化计算效率以适应临床场景。

五、通用模型（Universal Models）趋势

通用模型追求“一模多用”，不再为每类结构训练一个专属模型，而是通过提示、示例或上下文信息完成跨模态/任务分割。

应用方向：

上下文学习：借鉴NLP中GPT方式，通过示例推理新任务；

多模态融合：将图像与文本信息联合建模，提升跨模态理解能力；

少样本适应能力强：可快速适应新结构、模态，减少重训需求。

六、技术瓶颈与未来方向

尽管取得多项进展，医学图像分割仍面临若干待解难题：

缺乏标准化评估体系：不同研究使用不同数据、协议，不利于方法横向比较；

数据隐私问题突出：共享困难、标注稀缺，需借助合成数据、联邦学习等新技术；

人机协作不足：未来模型需支持更流畅的交互方式，实现医生辅助与主动学习；

临床部署难度高：模型复杂、对资源依赖大，亟需轻量、高效、可解释的部署方案。

结语

随着生成式AI、少样本学习、基础模型与通用模型等方向的不断演进，医学图像分割正逐步向着高精度、低依赖、高泛化的目标迈进。未来，需要在标准化评估、跨域适应、模型交互与临床落地等维度持续发力，推动图像分割技术从实验室走向真实医疗场景。

最新 AI 进展报道请联系：amos@52cv.net