中国科技报 04月08日
[今日要闻] “本源悟空”全球首次运行十亿参数级AI大模型微调任务
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

我国超导量子计算机“本源悟空”真机上,实现十亿参数级AI大模型微调任务全球首次运行。参数量减少,训练效果提升,为破解大模型“算力焦虑”开辟新路径。

🦊在“本源悟空”真机上实现大模型微调任务全球首次运行

🐱参数量减少76%,训练效果反而提升8.4%

🐶创新设计“量子加权张量混合参数微调”,提升效率

🐻优化模型在相关数据集上训练损失降低,准确率提升

    科技日报合肥4月7日电 (记者吴长锋 洪敬谱)记者7日从安徽省量子计算工程研究中心获悉,本源量子计算科技(合肥)股份有限公司、合肥综合性国家科学中心人工智能研究院等机构联合攻关,在我国超导量子计算机“本源悟空”真机上,实现十亿参数级AI大模型微调任务的全球首次运行。

    实验结果显示,在参数量减少76%的前提下,训练效果反而提升8.4%。这一成果不仅验证了量子计算助力实现大模型轻量化的可行性,更为破解大模型“算力焦虑”开辟了新路径。

    微调是指在通用大模型的基础上,通过进一步训练特定领域数据,使其适应医疗诊断、金融风控等专业场景。量子计算凭借其叠加态和纠缠态特性,可同时探索海量参数组合,提升大模型微调的效率。

    本源量子计算科技(合肥)股份有限公司副总裁窦猛汉介绍,团队创新设计了“量子加权张量混合参数微调”,将模型权重转化为量子神经网络与张量网络混合架构,量子神经网络通过量子门操作提取高维非线性特征,张量网络则压缩参数规模。“就好比给经典模型装上了‘量子引擎’,让两者协同发力。”窦猛汉说。

    实验数据显示,优化后的模型在心理咨询对话数据集(CPsyCountD)上训练损失降低15%,数学推理任务(R1-Distill-SFT)的严格准确率从68%提升至82%。

    合肥综合性国家科学中心人工智能研究院副研究员陈昭昀说:“这是量子计算首次‘真机实战’大模型任务,证明现有硬件已能初步支撑大模型微调。”

    “本源悟空”是目前我国先进的可编程、已交付超导量子计算机,已为全球139个国家超2300万人次提供量子算力云服务,完成35万个量子运算任务。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

超导量子计算机 大模型微调 量子计算 算力焦虑
相关文章