原创 付奶茶 2025-04-16 20:19 北京
家人们！最近奶茶发现一篇看起来非常有意思的论文！
你们有没有想过，咱们的大脑一辈子到底能“装”下多少知识？
最近，加州理工学院算出了人类学习的“终极天花板”——
就算你是个卷王之王，24 小时不眠不休、过目不忘地学上一百年，知识储量也只有区区4GB！
（比你微信聊天记录的临时缓存可能还要少）
走，一起看看这神奇的研究是怎么算出来的！
我们大脑处理信息的“网速”有多快？
简单来说，要计算人一辈子能学多少知识，得先从大脑处理信息的速度入手。这就像给大脑测网速，看看它的“下载”和“处理”能力。
研究团队运用信息论的框架（基于香农熵和互信息），去测量我们在做各种事情时，大脑处理信息的速率。他们观察了从日常到极限的各种活动： 打字、说话演讲、盲拧魔方等。
以打字为例，通常情况下，高级打字员每分钟能打 120 个单词，每秒 2 个单词，假设平均每个单词包含 5 比特的信息量，那么信息传输速率就可以计算出约为 10 比特/秒。
而其他的例如感知、动作和认知等任务速度也基本在 10 比特/秒的区间：
这些场景下人类行为的信息吞吐量普遍在 10 比特/秒左右。
如果按照这个速度来计算的话，全年无休 24 小时不停学习，而且拥有完美的记忆力，一点都不会忘，这样坚持 100 年：
结果就是：大约 3.94 GB。
这么少？我眼睛一睁，看到的世界、耳朵听到的声音，信息量绝对不止这么点啊。
那就有一个问题：我们每天接收的海量信息去哪了？
这其实是因为我们获取信息的速度， 和我们“消化”信息的速度， 完全是两码事。
人类感官的收集速度是多少？
人类的感官系统就像超级接收器，以惊人的速度从环境中收集数据，以最常用的接收信息的视觉系统为例，其信息采集速率远超行为吞吐量，达到了 Gbps 级别。
根据过去的研究表明，单个视锥细胞的信息传输速率约为 270 bits/s。 考虑到人眼大约拥有 600 万个视锥细胞， 仅双眼视觉系统的信息输入速率就高达 3.2 Gbps (计算方式： 270 bits/s/细胞 * 6,000,000 细胞 * 2 ≈ 3.2 x 10⁹ bits/s = 3.2 Gbps)
人类感官输入速率与行为信息吞吐量之间的比例约为 3.2 Gbps : 10 bits/s ≈ 3.2 x 10⁹ : 10 ≈ 3.2 x 10⁸ ≈ 10⁸ : 1。
那为森么速度差距这么大呢！
研究团队在论文中分析：人类大脑信息处理速度“慢” 的核心原因， 可以归结为 “串行处理” 和 “进化遗留”。
首先，我们的大脑中枢在处理信息时，更倾向于“串行”方式，也就是一件事情一件事情地处理，没法像感官系统那样“并行”处理大量信息。
其次，这种 “串行” 模式可能与早期神经系统的功能有关， 最初的大脑可能只需要处理一些简单的、线性的任务， 进化就“保留”了这种处理模式。 尽管大脑后来变得更复杂，但这个早期的 “串行” 架构仍然限制着我们现在的信息处理速度。
简单来说， 就像我们的大脑习惯了“排队”处理信息， 而不是“多线并行”， 所以速度就慢下来了。 当然， “注意力瓶颈” 也可能是另一个限制因素。
“注意力瓶颈” (Attention Bottleneck) 是认知心理学和神经科学中一个非常重要的概念，指的是我们的大脑在处理信息时，尤其是在进行有意识的、需要注意力的信息加工时，存在一个容量限制，就像一个瓶颈一样，限制了我们同时处理的信息量。
人类学习这么慢，会被大模型超越吗？
那人类为何能够仅凭 10 比特/秒的速率生存？
研究团队的答案是：可以的。
因为我们的祖先选择了一种生态位，那里的世界变化足够缓慢，使得以这种认知速率生存成为可能。
事实上，只有在最坏的情况下才需要 10 比特/秒的速率，在大多数时候，我们所处的环境变化节奏要悠闲得多。
这在一定程度上解释了青少年普遍认为 “现实世界枯燥乏味”的观点，促使他们转而在快节奏的电子游戏中寻求慰藉。 前几代人也不例外——他们转而寻求高速运动的刺激，例如滑雪或山地自行车。 日常任务对于这些寻求刺激的人来说显得难以忍受的缓慢，因此将自身推向认知吞吐量的极限，本身就是一种令人愉悦的体验。
那么，这种相对较低的认知速率在自然界中究竟处于何种水平？
为了提供参照，研究团队列举了果蝇作为对比，其行为信息吞吐量仅为 0.62 比特/秒。
那和未来最有潜力替代人类的大模型做个对比呢？
根据华人学者朱泽园发表的论文《Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws》中所述，大语言模型每个参数就能存储 2bit 知识，一个 70 亿参数的模型就能存储 140 亿 bit 的知识。
我们从维基百科页面中提取知识图谱三元组，例如（美国，首都，华盛顿特区），并将其表示为元组形式。通过多个受控数据集，我们证实，即使在量化为 int8 的情况下，大语言模型也仅能且只能存储每个参数 2 比特的知识。而且，这些知识可以被灵活地提取出来，应用于各种下游任务
由此显著的速度对比，研究者们得出结论： 随着算力的不断跃升，机器在多项任务上超越人类，可能只是时间问题。
马斯克的脑机接口能提速吗？
研究团队锐评了一下埃隆·马斯克的脑机接口项目 Neuralink：
指出马斯克构建高带宽脑机接口的出发点，在于其认为生物肉体带宽限制了信息处理能力。
马斯克曾表示：
“从长期的生存角度来看，Neuralink 的目的就是创建一种通往大脑的高带宽接口，使我们能够与人工智能共生。 因为我们存在带宽瓶颈。 你根本无法通过手指进行有效沟通，这速度太慢了。”
按照马斯克设想，通过高带宽接口直接连接人脑与计算机，即可突破这一限制，实现人脑与 AI 的自由交流乃至共生。
但是，研究团队指出—这一想法实在是过于理想化。
他们预测，就算装上 Neuralink，人脑和计算机的通信速率，很可能还是被限制在 10 比特/秒左右。因为这个瓶颈是大脑内部的处理机制，而不是外部接口的问题。
与其耗费巨资研发 Neuralink 电极束，马斯克其实只需使用一部电话即可，电话的数据传输速率早已被设计为与人类语言相匹配，而人类语言的速度本身又与感知和认知的速度相匹配。
其核心症结在于，限制信息处理速率的，是中枢神经系统的串行处理模式，而非接口带宽。
结语
这篇论文最近在学术圈可是掀起了不小的波澜，讨论热度爆棚。
有小伙伴觉得论文角度清奇，而且颇能点拨一下老马脑机接口的研究。但也有不少人吐槽文中的一些估算显得有些“随意”，比如，用打字员的速度来代表人类认知行为的速度，真的靠谱吗？
相比我们在硅基系统上实现的超高速通用计算，人类 10 比特/秒的处理速度确实慢得像蜗牛，但这种直接对比是否合理呢？毕竟，大脑的信息吞吐量与人类存在的感知之间，恐怕不能简单地划等号。
其实翻看这些讨论，奶茶觉得认可和质疑双方都有道理。
文中的结论非常明确清晰，但是其统计行为吞吐量的方式-简单地将人脑的信息吞吐量与硅基系统进行线性对比， 可能会忽略生物系统和人工系统在信息编码、处理和应用上的本质差异。
也许，人类大脑的这种“慢”，恰恰是其深度思考、灵活适应和产生意识的精妙所在，而非简单的“性能不足”呢？
这个 4GB 的“大脑硬盘”理论，让你焦虑了吗？
参考文献
https://arxiv.org/pdf/2408.10234
https://arxiv.org/pdf/2404.05405
https://arxiv.org/pdf/2305.13673
