ybq 2024-12-03 18:02 北京
来源 | ybq@知乎
叠甲声明：本文纯瞎聊，单纯分享一下我和 @真中合欢 ，以及大哥大姐，在茶余饭后拌嘴的一些内容。文章不包含任何理论推导、实验证明，大家当个乐子读读就好了。
我们聊的问题是：在知识掌握层面上，sft 后的模型为什么不如 pretrain 模型效果好？或者说，为什么 sft 后的模型在知识掌握上会有幻觉？
（各公司的 chat 模型，评估指标都会明显差于 base 模型）
首先，我们从统计学的角度出发：sft 数据和 pretrain 数据的分布差异太大，这种分布的偏离导致模型产生幻觉。围绕这个观点有很多解决幻觉的工作：在 sft 阶段引入 pretrain 数据，在 pretrain 阶段引入 sft 数据，有篇论文叫 self-distillation fine-tuning，让 pretrain 模型重写 sft 数据来拉近数据分布 …… 怎么说呢，分布差异这个观点肯定是正确的，但还是稍微有些笼统了，具体差异在哪里呢？为什么有差异就会幻觉呢？还需要往深了再讨论下。
接着，我们从炼丹的角度出发：在 sft 训练的时候，训练 epoch 多啊，学习率小啊，数据质量高啊，容易落入局部最优啊，等等等等。但说来说去，感觉 sft 就是一个大号退火阶段啊，可退火阶段并没有引入那么多的幻觉呀。这个答案显然不能服众。
继续往下，我开始从数据的角度出发，围绕着“special_token，学习某种 pattern，sft 模型不再是传统的语言模型了，续写能力变成 QA 能力了”这几个点分析，说的应该也是都有道理，但总感觉还是没戳中关键点。
终于，真中合欢从哲学的角度出发，用两个字终结了我们的这个话题 —— 捷径！
对啊，这两个字真的是太贴切了，几乎涵盖了上面我们讨论的所有要点：
sft 在做什么？在找一条捷径，让 pretrain 模型可以直接说出答案，而不是续写一堆 token 后再总结出答案。
走捷径并不是一个褒义词，那么代价是什么呢？幻觉。
为什么走捷径会产生幻觉呢，我举个例子：中国的首都是哪里呢？
pretrain 模型：这个问题问得好…… 中国最早的首都是…… 中国现在的首都是……
sft 模型：北京。
pretrain 模型有没有这个知识？一定有。pretrain 模型需要多少个 token 才能说出这个知识？不知道。运气好的时候续写一百个 token 就提到了北京，运气不好的时候续写一千个、一万个都有可能。那么问题来了，sft 模型走捷径而抛弃的这一千个 token，到底有没有信息量呢？到底是不是推导出中国的首都是北京的关键 cot 过程呢？ 大概率是有信息量的，一旦学会了这种走捷径的方式，并且把这种捷径泛化到其他知识上，模型的幻觉也就产生了。
这里，一定不能总是用人思考的方式来揣摩机器思考的方式，我们认为“中国的首都是北京”是天经地义的几个 token 就学会的知识，模型可能是从《北京的发展史》这一本几万 token 的书籍中才学到的这个知识。
然后我就猜测：把 prompt 喂给 pretrain 模型，先续写 1W 个 token，再总结这 1W 个 token 得到 response，训练和推理的时候都不省略这 1W 个 token，这种方式估计不会让模型产生幻觉，因为模型根本没学会走捷径。
不太对啊，聊着聊着感觉我说的这个实验就像是 o1 呀。我们真没有奔着 o1 的方向去聊天，但话题确实是水到渠成般走向了 o1。此时，我必须感慨一句，幸好 o1 是 OpenAI 提出的，这要是国内提出的技术方案，肯定全是负面言论：“这不就是快慢思考嘛”，“cot 而已，谁做不了呢？”，“推理时间这么长，有啥用？”……
o1 是一个大家都想到过但都不敢付诸实践的技术路线，感谢 OpenAI 引领大家走向这条路线。
好，这次的闲聊就分享就到这里。下次分享的闲聊话题可能会是：“o1 的 cot 过程一定需要是自然语言吗？”，这个话题也有一个更接地气的表达方式：“自己的草稿纸一定需要让别人能看懂吗？” —— 没错，这种炸裂级脑洞的话题，又是我们的真中合欢同学提出的。
来源：https://zhuanlan.zhihu.com/p/9649266595
