快科技资讯 05月07日 10:51
联想发布端侧AI新技术 PC本地推理能力媲美 OpenAI-mini
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

联想创新科技大会上,联想展示了与清华大学、无问芯穹联合研发的“联想推理加速引擎”,该引擎专为AI PC设计,通过软硬件协同优化,显著提升了本地推理能力。它通过高性能并行解码、算子融合优化和异构计算技术,大幅提升推理速度,降低功耗和内存占用。现场演示中,搭载该引擎的AI PC在解答高考数学压轴题时,速度比初代大模型快一倍,与二代大模型相比也提升了一倍,且答案准确。联想CEO杨元庆表示,下一代AI PC将搭载该引擎,提供媲美云端大模型的本地推理能力,且成本更低。

🚀联想推出“联想推理加速引擎”,专为高效AI PC推理而设计,是软硬件协同优化平台,旨在提升PC的本地推理能力。

💡该引擎采用高性能并行解码、算子融合优化以及异构计算技术,在多种应用场景下实现了推理速度的大幅提升,同时显著降低了功耗和内存占用。

⏱️现场“竞速赛”展示了该引擎的实力:搭载该引擎的AI PC解答高考数学压轴题仅耗时13秒,且答案满分,远胜初代和二代大模型。

💰联想CEO杨元庆表示,下一代AI PC将体验到该引擎带来的强大本地推理能力,性能媲美云端大模型,但成本更低。

快科技5月7日消息,今日,联想创新科技大会(Tech World)以“让AI成为创新生产力”为主题,聚焦混合式人工智能,从个人到企业,全方位展示联想创新技术成果。

会上,联想展示了其在端侧算力方面的最新创新成果 —— “联想推理加速引擎”。

据了解,这款由联想、清华大学及无问芯穹联合研发的推理引擎,是专为高效AI PC推理而设计的软硬件协同优化平台,可以让一台普通PC的本地推理能力,媲美OpenAI去年发布的o1-mini云端模型。

“联想推理加速引擎”通过高性能并行解码、算子融合优化以及异构计算技术, 实现了多种应用场景下推理速度的大幅提升,以及功耗和内存占用的显著降低。

与大模型推理芯片相结合,通过硬件加速与软件优化的无缝协作,进一步放大了性能提升,形成了叠加效应。

为直观展示 “联想推理加速引擎”的实力,现场设置了一场“竞速赛”。三台配置相同的AI PC同时解答2024年高考数学压轴题:

初代大模型:耗时27秒,答案0分。

二代大模型:耗时26秒,答案满分

二代大模型+“联想推理加速引擎”:耗时13秒,答案满分。

这表明模型能力的提升和 “联想推理加速引擎”对算力的提升,让设备的预填充更为迅速、解码速度更快、推理时间更短,同时占用内存更少,能耗更低,设备上的 AI 能力得到了大幅提升。

联想集团董事长兼CEO杨元庆表示,很快大家就会在即将发布的下一代 AI PC 上体验到 “联想推理加速引擎”带来的强大本地推理能力,其性能可以与云端大模型相媲美,但成本却低得多。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

联想推理加速引擎 AI PC 本地推理 人工智能
相关文章