不排除累了,或者怕被时代淘汰的恐惧衍生出来的厌弃,或者是目前对AI的营销氛围,其实大部分只是对openApi的封装,目的仅是获得风投;导致自己不愿去主动学习AI,但这是时代发展的前进趋势,目前希望自己能够平静下来,去学习一些基础知识
tokens
在AI模型中,tokens(令牌/词元)是文本处理的基本单位,用于将输入的文本拆分为模型可理解的片段
- tokens 是什么?
- 定义:token是模型处理文本时的最小单位,可以是:
- 单词(如hello作为一个token)子词(如“unhappy”拆分为"un"和"happy"两个tokens)标点/符号(如?或, 各占1token)非拉丁字符(如中文通常一个汉字 约等于 1-2个tokens,依赖编码方式)
- 英文句子"Hello, world!"拆分为
["Hello", ",", "world", "!"]
→ 4个tokens中文句子 "你好,世界!"
→ 可能拆分为 ["你", "好", ",", "世", "界", "!"]
→ 6个tokens大模型推理,大模型部署,大模型训练
以上三个术语是AI大模型开发与应用的核心环节,具体含义如下
- 大模型推理
- 定义:使用训练好的大模型对输入数据生成预测结果的过程场景:
- 用户提问时,模型实时生成答案(如chatGPT对话)自动补全代码,翻译文本,分析图像等任务
- 依赖高性能计算资源(GPU/TPU)加速响应需要优化推理速度与成本(如模型量化,缓存机制)
- 定义:将训练好的模型集成到生产环境,供实际使用的过程关键步骤:
- 封装:将模型打包为API服务或嵌入式模块运维:监控性能、拓展服务器、保证稳定性
- 定义:通过海量数据训练模型参数,使其学习规律的过程核心流程:
- 数据准备:清洗文本/图像数据,标注标签模型设计:选择架构(如,Transformer)迭代优化:调整超参数,减少预测误差
训练---部署---推理
训练时基础,决定模型能力的上限
部署时桥梁,连接模型与实际应用
推理是终端体现,直接服务用户