原创 算力百科 J 2025-03-29 06:00 广东
毕昇发明活字印刷术，促进人类文明传播，英伟达促使token 创新和爆发。人了苦苦追寻的AGI，最有可能落地的路径就是算力推动下的token产业，以后也许不再用纸币交易，而用token交易；
Token创世录，支撑智算中心的是人类的token梦想，token将代替黄金成为世界通用“代币”
人类有AGI梦想，这个梦想实现最有可能的路径就是token，而算力是产生token的原动力，英伟达是算力的老大哥，断崖式领先！
人类始终怀揣着创造能够像我们一样思考和学习的机器的梦想，这个梦想的宏伟目标便是通用人工智能（AGI）。
AGI指的是机器拥有的假设智能，这种智能使其能够理解或学习人类可以完成的任何智力任务 。AGI的实现有望在诸多领域带来革命性的变革。它能够解决目前人类无法企及的复杂问题，例如在医疗保健领域，AGI有望革新疾病诊断、治疗方案制定和药物发现 。在气候变化方面，AGI可以分析海量数据，预测趋势，并提出明智的解决方案 。
此外，AGI还能显著提高各行各业的生产力和效率，通过自动化和优化流程，将人类从重复性工作中解放出来，投入到更具创造性的工作中 。个性化的学习体验、更安全的交通系统以及前所未有的创新和创造力，都将随着AGI的实现而成为可能 。
通往AGI的道路依然漫长而充满挑战。截至2024年，真正的AGI尚未实现，但全球范围内的研究工作正在如火如荼地进行 。对于AGI的实现时间表，专家们的看法不一，有的认为在不久的将来，有的则认为需要数十年甚至更长的时间，甚至有人怀疑AGI是否能够实现 。
OpenAI、Google DeepMind和Anthropic等公司正处于AGI研究的前沿，它们在大型语言模型（如GPT-4 deepseek）方面的进展被认为是迈向AGI的重要一步 。尽管如此，当前的AI模型在抽象思维、常识、意识以及对因果关系的深刻理解等方面仍然与人类存在差距 。
AGI潜在的生存风险也引起了广泛关注，这提醒我们在追求AGI的同时，必须对其发展保持谨慎和负责的态度 。尽管面临重重困难，人类对AGI的梦想从未动摇，而实现这个梦想的关键，正隐藏在看似微小的“代币”（token）之中。
在实现AGI的征程中，“代币”扮演着至关重要的角色。对于大型语言模型（LLMs）而言，文本首先会被分解成称为代币的基本数据单元 。这些代币可以是完整的词语、词语的一部分，甚至是单个字符 。模型随后会为每个代币分配一个独特的数字标识符，并基于这些数字标识符序列中学习到的统计模式来预测下一个最有可能出现的代币，从而生成连贯的文本 。
代币是LLMs接收输入和产生输出的主要形式，构成了其语言处理的基础 。通过将复杂的输入分解为可管理的片段，创建机器学习算法可以理解的数字表示，并在简化数据结构的同时保留语义含义，代币化使得AI系统能够高效地处理和分析庞大的数据集 。因此，代币是LLMs理解和操纵信息的最基本单位，而高效的代币处理则高度依赖于强大的计算能力。
基于代币的模型，尤其是大型语言模型（LLMs），之所以被认为是实现AGI最有希望的路径，是因为它们展现出了令人惊讶的推理能力，而这种能力仅仅是通过训练来预测下一个最有可能的代币而获得的 。
只要神经网络足够庞大和深入，并配备充足的数据和计算资源，它们就能通过预测下一个代币来解决复杂的任务 。LLMs通过预测下一个字符（UTF-8编码的字节）来学习无监督表示的能力，暗示了通往更高层次语义理解的潜在路径 。尽管有观点认为，仅仅扩展LLMs并不能实现AGI，因为它们在现实世界的基础、规划和持续学习方面存在局限性 ，但当前LLMs所取得的进步是不可否认的 。这种通过代币预测而涌现的推理能力，使得基于代币的模型成为实现AGI最有潜力的方向。
基于代币的模型已在各种AI应用中取得了巨大的成功。代币化对于BERT、GPT和T5等先进语言模型的成功至关重要，使得它们能够实现复杂的自然语言理解和生成 。除了语言处理之外，代币还在计算机视觉（将图像块视为代币）和基因组学（将DNA序列分析为代币）等其他AI领域发挥着关键作用 。此外，AI代币正逐渐成为一种授予AI模型访问权限、促进数据市场交易以及参与去中心化AI平台治理的方式 。处理代币的效率直接影响AI模型学习和响应的速度，这使其成为AI经济的关键因素 。
代币化模型在不同AI应用中的广泛适用性表明，它们作为AGI的基础技术具有巨大的潜力和价值。而这一切的基础，都离不开强大的算力支持。
算力是驱动代币生成和处理的核心动力。训练大型语言模型需要大量的计算资源，包括高性能计算硬件和巨大的电力消耗 。图形处理器（GPUs）对于训练像LLMs这样的深度学习模型至关重要，因为它们能够并行处理数千个操作，与中央处理器（CPUs）相比，极大地缩短了训练时间 。
LLMs的规模和复杂性，以参数数量衡量，与训练和推理所需的计算能力直接相关 。推理，即使用训练好的模型生成预测的过程，也需要大量的计算资源，尤其是对于大型和复杂的模型 。LLMs庞大的规模决定了训练和部署都需要巨大的计算能力，这在AGI的道路上建立了一个直接且不可否认的联系：AI（包括AGI）的进步与获取先进计算资源的能力息息相关。
算力驱动着代币的生成和处理。AI模型处理代币以学习它们之间的关系，从而解锁预测、生成和推理等能力 。代币处理速度越快，模型学习和响应的速度就越快，这对于训练效率和实时应用都至关重要 。
在推理过程中，LLM接收输入代币并以自回归的方式生成输出代币，每一步都需要计算资源来根据上下文预测下一个代币 。代币生成的计算成本取决于模型复杂性、输入大小、媒体类型和延迟要求等因素 。从训练到推理，基于代币的AI模型的整个生命周期都围绕着代币的高效处理，而这从根本上是由计算能力驱动的。这进一步强调了计算能力在AGI征程中的核心地位。
大规模AI模型需要巨大的计算资源。训练具有数十亿甚至数万亿参数的模型可能需要数月时间，并耗费数百万美元的计算资源 。在训练和推理过程中存储模型权重、激活和KV缓存所需的内存量非常庞大，通常会超出单个GPU的容量 。
模型并行等技术被用于将计算工作负载分布到多个GPU上，以缩短训练时间 。优化推理速度和效率对于大规模部署LLMs至关重要，这通常需要利用GPU等专用硬件并采用量化和批处理等技术。不断增长的AI模型规模和复杂性需要呈指数级增长的计算能力。这一趋势凸显了能够提供和推进这种计算基础设施的公司至关重要。在众多提供算力的公司中，英伟达无疑是这个领域的领军者。
英伟达在可预见的未来仍将保持其在AI芯片市场的主导地位。英伟达已建立的年度产品周期和持续的性能改进使得竞争对手难以赶上。与放弃英伟达CUDA生态系统相关的巨大转换成本也提供了显著的优势。
虽然一些主要客户正在探索开发自己的AI芯片，但这种趋势在短期到中期内可能主要影响英伟达的利润率，而不是其整体市场份额。因此，尽管存在竞争，并且一些客户正在探索替代方案，但英伟达的技术领先地位、强大的生态系统和显著的市场份额表明，其在AI计算领域的主导地位在短期内不太可能受到严重威胁。
展望未来，行业专家预测AI市场和对AI基础设施的需求将在未来几年内显著增长。超并行计算的趋势以及日益复杂的AI模型将进一步推动对高性能GPU和专用加速器的需求。
AGI正在加速到来，可能在未来十年内实现，这将进一步加速对强大AI计算资源的需求。英伟达正将自己定位为未来“AI工厂”的一站式供应商，投资于整个AI数据中心的硬件和软件。可以预见，AI市场的持续增长和未来AI模型不断增长的计算需求，将使得英伟达所擅长的高性能计算变得更加重要。
实现AGI将需要比当前AI模型更广泛的技术、数据和互联性，这意味着对计算需求的巨大增长。随着AI模型旨在复制人类般的认知能力，计算的复杂性可能会呈指数级增长，需要更强大的硬件。
具身智能和能够与物理世界交互的AI系统的发展也将需要AI算法和底层计算基础设施的重大进步。通往更高级AI（包括AGI）的道路将由不断增长的计算需求所铺就。这直接有利于像英伟达这样处于高性能计算前沿的公司。
