2025-04-24 22:57 广东
1、在 25 年 5/6 月之前，不会有算力的上下修，全年 AI CapEx 是 900 亿+左右，再加 500 亿+ CPU，总共约1500 亿人民币左右，6 月份之后再根据实际情况而定；倾向于多采购 CPU 的规模，24 年 CPU 的采购量在 65 万台（总储备是 240 万台，和阿里一致），25 年年底可能从 65 万台提升至 85 万台；CPU 的上修是因为字节的云从租改自建，再增加对外售卖的云资源的扩容，今年目标 200 多亿；
2、拆分：海外 500 亿，90% 是 NV（170-180 亿是 B200 和 H200，海外主体买的，就放在马来西亚不进国内，给国内 seed 的基座模型训练使用，其它会是 GB200 72 柜为主，部分转到 GB300 去），10% 是 AMD；国内 400 亿，其中 200 亿还是NV的服务器，80 亿是昇腾的服务器整机，包括 910B 2 万张，910C 5 万多张；寒武纪的服务器整机 80 多亿（去年年底入库 1 万多张，大概 1000+台机器，1Q25 是 3500 多台，2Q25 是 5000 台），其它都是其它的国产卡；芯片占服务器的 70%；
3、H20 在 FP8 精度下，承接文本推理模型挺好用，但在 FP16 精度下大概是 H800 的 70% 左右；
4、H20 在 5 月节前还是有很多应交而未交的货在国内组装；不确定尾单能不能交；
5、字节现有的卡量：A100 是 1.6-1.7 万张，A800 6 万张，H800 2.4-2.5 万张；海外的 H100 2 万多张，H20 27 万张，最后是几十万张 L20/L40 等的卡；
6、24 年 token 调用量是 4 万亿日均，25 年年底预估是 40 万亿日均（需要 55 万芯片承接模型推理，70% 是训练芯片，30% 是推理芯片），目前在 12 万亿 token 日均；
7、主要带队是吴永辉，gemini 核心贡献者，带队 1200 人，扁平方案，允许团队试错，不必对 OKR，也没有一定要求什么时间段内有多少明确的产出和结果；团队里面，30%-40% 是原有团队转型，40% 是集中扩容的新增社招和校招，20% 是即将入职的外部挖的大牛；
8、字节做的比较好的是图像理解，是针对图像本身的内容做归类提取，图像理解（一张图折算 1,500 token，视频折算 15,000 token/秒）一天的 token 调用量是 4000 亿左右，1/2/3 月份是 200 亿/1500 亿/3000 亿+。现在一天字节 14 万亿 token 调用量里面，3.5-4 万亿是图像理解模型。主要应用在于内部，比如内容的数据标签，短视频的内容审核，客服等；
9、模型未来的 roadmap：2 月初是视频的 5s 和 15s 发布，3 月中下旬是深度思考模型 TO C 上线，4 月中旬是 TO B 上线，5 月是视频理解模型上线，6 月份是语音对话的端到端模型上线;
10、豆包：日均 1600 万 DAU，7000-8000万 MAU，次日留存 30%，7 日留存 23%，十日留存 10%，每天对话 7-8 轮，token 数 2500-3000.今年目标 5000 万 DAU；
11、整个豆包一个月投放预算 6000-7000 万，40% 投放在内部渠道，巨量比外部客户低 30%，60% 投放在外部渠道。
