商汤科技联合创始人、首席科学家王晓刚宣布，商汤绝影在行业内率先实现了原生多模态大模型的车端部署。该模型在车载端侧 8B 模型首包延迟在 300 毫秒以内，推理速度 40 Tokens / 秒，覆盖主流算力平台。商汤绝影为多模态大模型打造计算引擎“HyperPPL”，目前已扩展并支持主流车载计算硬件，兼容多种主流操作系统，适配多个车载芯片的部署平台。HyperPPL 针对车载多人场景进行优化，在车内多人并发情况下，车端多模态大模型的模型推理效率相比单人没有明显降低。

🎉 **车端原生多模态大模型部署**: 商汤绝影率先实现车端原生多模态大模型的部署，为自动驾驶领域带来新的突破。

🚀 **高性能推理**: 该模型在车载端侧 8B 模型首包延迟在 300 毫秒以内，推理速度 40 Tokens / 秒，覆盖主流算力平台。

💡 **HyperPPL 计算引擎**: 商汤绝影为多模态大模型打造计算引擎“HyperPPL”，支持主流车载计算硬件，兼容多种主流操作系统，适配多个车载芯片的部署平台。HyperPPL 针对车载多人场景进行优化，在多人并发情况下，模型推理效率依然出色。

🔮 **未来发展**: 商汤预计，随着更高算力的车载芯片问世，绝影多模态大模型车端部署方案的首包延迟将大幅降低，推理速度进一步提高。

IT之家 7 月 19 日消息，商汤科技联合创始人、首席科学家王晓刚 17 日宣布，商汤绝影在行业内率先实现了原生多模态大模型的车端部署。车载端侧 8B 模型首包延迟在 300 毫秒以内，推理速度 40 Tokens / 秒，覆盖主流算力平台。

商汤绝影为多模态大模型打造计算引擎“HyperPPL”，目前扩展并支持主流车载计算硬件，兼容多种主流操作系统，适配多个车载芯片的部署平台。

商汤绝影称 HyperPPL 针对车载多人场景进行优化，使得车内多人并发情况下，车端多模态大模型的模型推理效率相比单人没有明显降低。

据IT之家此前报道，商汤绝影此前表示，深圳首条自动驾驶公交线路采用其车辆与技术，所有驾驶操作都无需人员介入。

明年上千 TOPS 算力的车载芯片（英伟达 Thor）就会问世。基于更高算力的计算平台，商汤预计绝影多模态大模型车端部署方案的首包延迟将大幅降低，推理速度进一步提高。