2025-03-24 20:15 浙江
作者：InternLM、Qwen 等 LLM本周，「机智流」和 「ModelScope」社区精选了多模态领域的
作者：InternLM、Qwen 等 LLM
本周，「机智流」和 「ModelScope」社区精选了多模态领域的论文，涵盖科学问题求解、遥感图像匹配、癌症生存预测到临床试验患者匹配等前沿应用。从多智能体框架到超维空间学习，这些研究不仅突破了技术瓶颈，还为AI的跨模态融合与实际落地提供了新思路。快来一起探索这些令人振奋的创新成果吧！✨
MAPS: A Multi-Agent Framework Based on Big Seven Personality and Socratic Guidance for Multimodal Scientific Problem Solving
论文链接：
https://modelscope.cn/papers/2503.16905
简要介绍：
由西安交通大学、新加坡国立大学和南洋理工大学联合提出，该工作推出了MAPS框架，利用基于Big Seven人格理论的七个智能体和苏格拉底式引导，解决多模态科学问题（MSPs）。通过四阶段求解策略和批判性反思智能体，MAPS在EMMA、Olympiad和MathVista数据集上超越当前最佳模型15.84%，展现了卓越的多模态推理与泛化能力。
核心图片：
MapGlue: Multimodal Remote Sensing Image Matching
论文链接：
https://modelscope.cn/papers/2503.16185
简要介绍：
武汉大学团队提出了MapGlue框架及MapData数据集，针对多模态遥感图像（MRSI）匹配中的几何和辐射差异难题。MapGlue通过双图引导机制提取跨模态不变特征，在全球233个采样点的大规模数据集上实现优异匹配精度，并在未见模态上展现强大泛化性。
核心图片：
Disentangled and Interpretable Multimodal Attention Fusion for Cancer Survival Prediction
论文链接：
https://modelscope.cn/papers/2503.16069
简要介绍：
乌得勒支大学和荷兰癌症研究所合作开发了DIMAF框架，通过解缠注意力机制融合全切片图像和转录组数据，提升癌症生存预测。引入距离相关性损失和SHAP解释方法，DIMAF在四个公共数据集上提升1.85%性能和23.7%解缠度，增强了生物学解释性。
核心图片：
OmniGeo: Towards a Multimodal Large Language Models for Geospatial Artificial Intelligence
论文链接：
https://modelscope.cn/papers/2503.16326
简要介绍：
北京交通大学和蒙特利尔大学团队提出了OmniGeo，一种面向地理空间AI的多模态大语言模型。OmniGeo整合卫星图像、地理元数据和文本描述，在健康地理、城市感知等五大核心任务中表现出色，首次实现GeoAI多模态统一建模。
核心图片：
OThink-MR1: Stimulating multimodal generalized reasoning capabilities through dynamic reinforcement learning
论文链接：
https://modelscope.cn/papers/2503.16081
简要介绍：
OPPO研究院和香港科技大学（广州）提出了OThink-MR1，通过动态强化学习增强多模态语言模型的泛化推理能力。引入动态KL策略，OThink-MR1在视觉计数和几何推理任务中超越监督微调，并在跨任务迁移中展现显著优势。
核心图片：
M3: 3D-Spatial MultiModal Memory
论文链接：
https://modelscope.cn/papers/2503.16413
简要介绍：
加州大学圣地亚哥分校和NVIDIA联合推出了M3，一种3D空间多模态记忆系统。M3结合3D高斯 splatting和基础模型，解决特征压缩难题，并在机器人室内场景中验证其实用性，首次攻克3D特征蒸馏的核心挑战。
核心图片：
Real-world validation of a multimodal LLM-powered pipeline for High-Accuracy Clinical Trial Patient Matching leveraging EHR data
论文链接：
https://modelscope.cn/papers/2503.15374
简要介绍：
该研究提出了一种无需集成、基于多模态LLM的患者-试验匹配管道，利用EHR原始文档实现自动化筛选。在n2c2数据集上达到93%准确率，真实世界数据中缩短80%审核时间，展示出广泛应用的潜力。
核心图片：
SemEval-2025 Task 1: AdMIRe -- Advancing Multimodal Idiomaticity Representation
论文链接：
https://modelscope.cn/papers/2503.15358
简要介绍：
谢菲尔德大学等机构推出了AdMIRe任务，挑战多模态模型在图像排序和序列预测中理解习语表达。最佳方法结合预训练LLM和视觉-语言模型，达到人类水平性能，推动了多模态语义表征研究。
核心图片：
Leveraging Perfect Multimodal Alignment and Gaussian Assumptions for Cross-modal Transfer
论文链接：
https://modelscope.cn/papers/2503.15352
简要介绍：
伊利诺伊大学团队提出了一种完美多模态对齐方法，结合高斯假设实现无监督跨模态迁移。通过将语义类建模为高斯混合，实验验证了其在合成数据上的高效性，为跨模态学习开辟新方向。
核心图片：
Machine Unlearning in Hyperbolic vs. Euclidean Multimodal Contrastive Learning: Adapting Alignment Calibration to MERU
论文链接：
https://modelscope.cn/papers/2503.15166
简要介绍：
奥尔堡大学等机构研究了超维与欧几里得空间中的机器遗忘，提出HAC方法适配MERU模型。实验显示超维几何在概念移除中具有优势，揭示了几何结构对多模态表征遗忘动态的影响。
核心图片：
-- 完 --
欢迎在「机智流」公众号后台回复「cc」，加入机智流大模型交流群,与我们一起探索 AI 与人类潜能的未来，一起共赴 AI 浪潮！
