格隆汇8月16日|目前大模型在推理时通常都非常耗存储和计算,这是因为权重采用FP16存储,占用空间大。北大团队首次提出iFairy方案,把模型权重量化到复数集合 {+1, -1, +i, -i}。这四个值刚好可以用2比特表示,相当于压缩到原本的1/8。
格隆汇8月16日|目前大模型在推理时通常都非常耗存储和计算,这是因为权重采用FP16存储,占用空间大。北大团队首次提出iFairy方案,把模型权重量化到复数集合 {+1, -1, +i, -i}。这四个值刚好可以用2比特表示,相当于压缩到原本的1/8。
AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。
鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑