36氪获悉,爱企查App显示,近日,DeepSeek关联公司杭州深度求索人工智能基础技术研究有限公司申请的“一种大语言模型的部署方法及系统”专利公布。摘要显示,该专利涉及人工智能领域,有益效果在于将预填充阶段和解码阶段分别部署在高性能计算能力和大内存的机器上,均衡负载任务,实现最大化的硬件利用,减少闲置算力,降低整体延迟,提高吞吐量,增强系统的扩展性和容错性。
36氪获悉,爱企查App显示,近日,DeepSeek关联公司杭州深度求索人工智能基础技术研究有限公司申请的“一种大语言模型的部署方法及系统”专利公布。摘要显示,该专利涉及人工智能领域,有益效果在于将预填充阶段和解码阶段分别部署在高性能计算能力和大内存的机器上,均衡负载任务,实现最大化的硬件利用,减少闲置算力,降低整体延迟,提高吞吐量,增强系统的扩展性和容错性。
AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。
鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑