耶鲁大学等机构联合推出MindLLM，一款医疗AI工具，能将脑部fMRI数据转化为文字，性能超越现有技术。MindLLM由fMRI编码器和大型语言模型构成，通过分析fMRI扫描中的立体像素解读脑部活动。其神经科学注意力机制的fMRI编码器，能适应不同输入信号，实现多种分析。脑部指令调优（BIT）方法增强了模型从fMRI信号提取语义信息的能力，可执行图像描述、问答推理等任务。测试表明，MindLLM在文字解码、跨个体泛化和新任务适应性方面均有提升，未来有望发展成实时fMRI解码器，应用于神经控制、脑机接口等领域。

🧠MindLLM是一款医疗AI工具，由耶鲁大学等机构联合推出，旨在将脑部功能性磁共振成像（fMRI）数据转化为文字，从而解读脑部活动。

🔬该工具由fMRI编码器和大型语言模型组成，其中fMRI编码器采用了神经科学注意力机制，能够适应不同输入信号的形状，实现多种分析任务。研究团队还引入了脑部指令调优（BIT）方法，增强模型从fMRI信号中提取多种语义信息的能力。

📊测试结果显示，MindLLM在文字解码、跨个体泛化和新任务适应性等基准测试中，相比UMBRAE、BrainChat、UniBrain等业界模型，分别提高了12.0%、16.4% 和 25.0%，证明其在适应新受试者和处理未知语言推理方面具有优势。

🚀未来，研究人员希望进一步改进MindLLM，使其发展成实时fMRI解码器，并广泛应用于神经控制、脑机接口和认知神经科学等领域，为神经假肢修复感知能力、精神状态监控以及脑机交互等应用带来积极影响。

IT之家 3 月 3 日消息，耶鲁大学联合剑桥大学、达特茅斯学院研究人员，共同推出一款名为 MindLLM 的医疗行业 AI 工具，该工具能够将脑部功能性磁共振成像（fMRI）数据转化为文字，在多个基准测试中，表现优于业界 UMBRAE、BrainChat、UniBrain 等技术。

据介绍，MindLLM 由 fMRI 编码器和大型语言模型组成，能够分析 fMRI 扫描中的立体像素（Voxels）来解读脑部活动。其 fMRI 编码器采用了神经科学注意力机制，能够适应不同输入信号的形状，从而实现多种分析任务。

研究团队还为相应工具引入了脑部指令调优（BIT）方法，增强了模型从 fMRI 信号中提取多种语义信息的能力，使其能够执行图像描述、问答推理等多种解码任务。

测试结果显示，在文字解码、跨个体泛化和新任务适应性等基准测试中，MindLLM 相对业界模型至高提高了 12.0%、16.4% 和 25.0%，证明其在适应新受试者和处理未知语言推理方面均优于传统模型。

不过，研究人员提到目前该模型仅能分析静态图像信号，未来如果进一步改进，有望发展成实时 fMRI 解码器，并广泛应用于神经控制、脑机接口和认知神经科学等领域，对神经假肢修复感知能力、精神状态监控以及脑机交互等应用带来积极影响。

目前，相应论文已发布在 ArXiv 上，IT之家附论文地址（点此访问）。