2024-12-13 20:42 浙江
Ivy-VL，由AI Safeguard联合CMU与斯坦福开发，是一款轻量级多模态模型，以其高效、轻量化和强性能解决了端侧部署难题，推动移动端AI应用发展，为低功耗设备运行先进AI技术铺平道路。
01
介绍
随着人工智能的快速发展，多模态大模型（MLLMs）在计算机视觉、自然语言处理和多模态任务中扮演着重要角色。然而，受限于硬件资源和能效需求，将这些模型部署到移动设备和边缘设备上⼀直是⼀个巨大挑战。在这⼀背景下，Ivy-VL凭借卓越的性能，成为面向移动端多模态模型的新标杆。
Ivy-VL 是由 AI Safeguard 联合CMU与斯坦福开发的⼀款轻量级多模态模型。秉承⾼效、轻量化和强性能的设计理念，Ivy-VL 解决了多模态⼤模型在端侧部署中的诸多难题。模型的问世不仅推动了移动端 AI 应⽤的发展，也为更多设备在低功耗环境下运行先进 AI 技术铺平了道路。
模型下载链接：
ModelScope: https://modelscope.cn/models/AI-Safeguard/Ivy-VL-llava
Hugging Face: https://huggingface.co/AI-Safeguard/Ivy-VL-llava
模型体验链接：
https://modelscope.cn/studios/AI-Safeguard/Ivy-VL
02
模型亮点
1、极致轻量化
Ivy-VL 的参数量仅为 3B，极⼤地降低了计算资源需求，与7B 以几十B的多模态模型相比，具有更小的硬件占⽤。模型可⾼效运行于 AI 眼镜、智能手机等资源受限的设备上。
2、卓越性能
Ivy-VL在多个多模态榜单中夺得 SOTA（state-of-the-art）成绩。通过精⼼优化的数据集训练，Ivy- VL 展现了远超同类模型的性能，证明了小模型同样可以实现⼤突破。在专业多模态模型评测榜单OpenCompass上面，做到了 4B 以下开源模型第⼀的性能。超越了顶尖的端侧 SOTA 模型，包括Qwen2-VL-2B，InternVL2-2B，InternVL2.5-2B，SmolVLM-Instruct, Aquila-VL-2B 以及PaliGemma3B 等模型。
3、低延迟和高响应速度
3B 的LLM 模型大小，显著提升了Ivy-VL 的响应速度，确保其在端侧设备上实现实时推理。在⽣成速度、能效⽐和准确率之间，达到了完美平衡。
4、强大的跨模态理解能力
Ivy-VL基于 LLaVA-One-Vision，结合先进的视觉编码器（google/siglip-so400m-patch14- 384）与强⼤的语⾔模型（Qwen2.5-3B-Instruct），Ivy-VL 在视觉问答、图像描述、复杂推理等任务中表现优异，完美满⾜端侧应⽤的多模态需求。
5、开放生态
Ivy-VL 将模型开源，并且允许商用，⽅便开发者快速上手。无论是 AI 创新团队还是个⼈开发者，都可以利⽤ Ivy-VL 构建⾃⼰的多模态应⽤。
03
核心应用场景
智能穿戴设备： 支持 AI 眼镜实现实时视觉问答，辅助增强现实（AR）体验。
手机端智能助手： 提供更智能的多模态交互能⼒，让手机⽤户体验更⾃然的 AI 服务。
物联⽹设备： 助⼒智能家居和IoT 场景实现更⾼效的多模态数据处理。
移动端教育与娱乐： 在教育软件中增强图像理解与交互能⼒，推动移动学习与沉浸式娱乐体验
04
测试用例
Ivy-VL 在科学⾃然问题中获得了很好的性能，可以发现在第⼀张图中，Ivy-VL能准确 de 识别是哪个⽣物体的生命周期，第⼆张图中判断图中哪个阶段代表冬至。
在推理和图表问题中，可以看出，在第⼀张图中，Ivy-VL 可以准确的识别出图中量杯的总容积是多少。第⼆张图中，需要进⾏的推理问题，模型同样给出正确的答案。
05
Ivy-VL 的未来展望
Ivy-VL 的诞⽣标志着轻量级多模态模型在端侧设备上的⼀次重要突破。未来，AI Safeguard将持续优化 Ivy-VL，进⼀步提升其在视频模态任务中的表现，并探索更多⾏业应⽤场景。
Ivy-VL 为多模态大模型的边缘部署和普及开创了全新可能。无论是推动移动设备 AI 应⽤， 还是服务于广泛的 IoT 设备，Ivy-VL 都将是行业的理想之选。
点击阅读原文，即可跳转模型链接~
?点击关注ModelScope公众号获取
更多技术信息~
