支付宝在2024世界人工智能大会上发布了其多模态医疗大模型，并推出了医疗可信一体机和可信云等数智化解决方案。该模型具备“看”会“听”、能“说”会“画”的原生多模态能力，可理解并训练音频、视频、图、文等多模态数据，并在医疗专业能力方面表现出色。支付宝还与多家机构联合发起AI医疗共建计划，共同探索AI数智技术底座与创新应用服务。

😊 **多模态医疗大模型技术**：支付宝的百灵医疗大模型具备原生多模态能力，可理解并训练音频、视频、图、文等多模态数据。模型添加了包含报告、影像、药品等百亿级中英文图文、千亿级医疗文本语料及千万级高质量医疗知识图谱，中英文医疗考试、基准测试达到或超过GPT4水准，医疗专业能力在中文医疗LLM评测榜单promptCBLUE中，位列A榜第一，B榜第二。

🤖 **多模态结构优势**：支付宝医疗大模型全栈自研医疗多模态结构，使得模型识别报告、药品、毛发等图像准确率达90%以上。相关技术在行业顶尖技术期刊与会议 CVPR、KDD、ECCV等发表了多项成果。

🏥 **医疗应用场景**：支付宝的多模态医疗大模型可提供智能问答、病历结构化和检索、辅助诊断，还可识别解读药品及上百种复杂的医学报告，进行毛发健康检测等，这些都能嵌入医院等机构医疗环节全流程，创新医疗服务的同时，也助力提升机构运营效率。

🔒 **可信安全保障**：支付宝面向行业推出全新的“医疗可信一体机+可信云”的解决方案，通过密态计算与存储，让医疗数据可用不可见，机构保管更安全。医疗可信一体机解决医院面临的算力不足痛点，医疗大模型可信云方案聚焦解决数据隐私安全和商业机密保护问题。

🤝 **合作共建**：支付宝与人民卫生出版社、北京大学医学部、浙江省卫生健康委等20家机构联合发起AI医疗共建计划，共同探索AI数智技术底座与创新应用服务。

动点科技获悉，7月5日，在2024世界人工智能大会“可信大模型论坛”上，支付宝公布了其AI技术在医疗领域布局的最新进展：发布多模态医疗大模型，同时，全新推出包括医疗可信一体机、可信云等多款数智化解决方案。现场，支付宝还与人民卫生出版社、北京大学医学部、浙江省卫生健康委等20家机构，联合发起AI医疗共建计划，共同探索AI数智技术底座与创新应用服务。

蚂蚁集团大模型应用部总经理顾进杰介绍了背后的技术研发。蚂蚁百灵大模型已具备能“看”会“听”、能“说”会“画”的原生多模态能力，可以直接理解并训练音频、视频、图、文等多模态数据。支付宝医疗大模型以此为基座模型，添加了包含报告、影像、药品等百亿级中英文图文、千亿级医疗文本语料及千万级高质量医疗知识图谱，中英文医疗考试、基准测试达到或超过GPT4水准，医疗专业能力在中文医疗LLM评测榜单promptCBLUE中，位列A榜第一，B榜第二。同时，全栈自研医疗多模态结构，使得模型识别报告、药品、毛发等图像准确率达90%以上，相关技术在行业顶尖技术期刊与会议 CVPR、KDD、ECCV等发表了多项成果。

为了让回答对话更加可靠，在研发阶段，支付宝还与数百个专业医学团队、专家进行合作标注数据，保障信息权威可信，同时联合上海仁济医院推出首个中文医疗专科问答推理数据集RJUA-QA。模型测试阶段，用户、患者、医生参与问答反馈，在专业同时，兼顾患者关怀。

目前，该多模态医疗大模型不仅提供智能问答、病历结构化和检索、辅助诊断，还可识别解读药品及上百种复杂的医学报告，进行毛发健康检测等，这些都能嵌入医院等机构医疗环节全流程，创新医疗服务的同时，也助力提升机构运营效率。

顾进杰表示，AI的深度应用，不仅对数据、算法、算力提出了更高要求，也对可靠、安全、隐私提出更多挑战，医疗场景下，保障技术可靠与数据隐私安全，至关重要。为此，支付宝面向行业推出全新的“医疗可信一体机+可信云”的解决方案，通过密态计算与存储，让医疗数据可用不可见，机构保管更安全。

据介绍，百灵医疗可信一体机，核心解决医院面临的算力不足痛点，可实现开箱即用，训推一体，支持国产算力，软硬件协同优化加速。医疗大模型可信云方案，通过公有云与专有云部署密态推理，聚焦解决数据隐私安全和商业机密保护问题。