280B 和 2.8T 同一天放出权重：先看清 MoE 的两个参数，再看清自己下不下得动
作者：周砚
两条 11 月 7 日的 X 帖文称，百度放出 ERNIE 5.5 Flash Base（总参 280B、每 token 激活 14B、FP8/BF16 双精度），Kimi K3.1 Pro 的权重上了 Hugging Face（总参 2.8T、激活 104B、1M 上下文）。两条都是网友转述，官方模型卡与许可证本轮没能核到。这篇先把数字标好来源，再拆开讲总参数与激活参数的分工、FP8 省下的是什么、普通人卡在哪一步，以及 Base 和许可证这两个容易被跳过的词。
11 月 7 日早上，两条关于「权重可下载」的帖文前后脚出现，相隔约 2.5 分钟。一条说百度放出 ERNIE 5.5 Flash Base，总参 280B、每 token 激活 14B，提供 FP8 和 BF16 检查点，权重可用于继续训练和推理 ；另一条说 Kimi K3.1 Pro 的权重上了 Hugging Face，总参 2.8T、激活 104B、上下文 1M token 。
需要先把话说在前面：这两条都来自普通 X 账号的转述，不是官方发布页，没有附仓库地址、模型卡或许可证，彼此也不构成交叉验证。按编辑要求，动笔前该核的官方页面、config.json 和 LICENSE 本轮都没能取到。所以下面的参数一律按「转述值」对待，凡是机制层面的数字，都是按通用口径做的算术，不是官方文件清单。这一点不影响讨论结构，但会影响你能拿它做什么决定。
总参数和激活参数，管的是两件不同的事
MoE（混合专家）模型把前馈层拆成很多个「专家」，每个 token 进来，由路由器挑几个专家算，其余不动。于是有两个数字：总参数是全部专家的体积，激活参数是单个 token 实际经过的那部分。
按转述值算，ERNIE 5.5 Flash 的激活比例约 5%（14/280），Kimi K3.1 Pro 约 3.7%（104/2800）。这个比例解释了两家为什么敢把模型做到这个量级：算力账单大致跟激活参数走，模型容量跟总参数走。
但两个数字对应两种成本，不能混。激活参数决定「每生成一个 token 要多少算力」，总参数决定「要多少显存或内存才装得下」。280B 的模型每 token 只算 14B，听起来像 14B 的机器就能跑；实际上 280B 的权重得全部放在能被快速取到的地方，因为下一个 token 可能路由到另一批专家。这也是为什么 MoE 的推理机器往往不是按激活参数配的。
还有一个转述里没交代的细节：激活的 14B 和 104B 里有没有算共享专家。这会影响所有成本推算的口径，属于要等模型卡才能定的事。
FP8 省的是下载时间，不是训练门槛
ERNIE 这条明确写了 FP8 和 BF16 两种检查点 。FP8 每参数约 1 字节，BF16 约 2 字节，这是精度换体积最直接的一层。
按这个口径粗算：ERNIE 5.5 Flash 的 FP8 权重约 280GB，BF16 约 560GB。Kimi 那边转述没写精度，若按 BF16 算，2.8T 就是约 5.6TB；即便有 FP8 版本，也是 2.8TB 级。四个数量级的差别不在小数点，在「能不能下完」这件事上。
下载时间可以直接算。按 100MB/s（约 800Mbps，家用千兆宽带的实际上限附近）算，280GB 要约 47 分钟，560GB 约 1.6 小时，2.8TB 约 8 小时，5.6TB 约 16 小时。这还没算分片重试、校验和落盘的时间，也没算很多家庭宽带实际只有 300–500Mbps。5.6TB 那个数字，更现实的说法是「挂一天多，中途不能断」。
需要提醒的是，FP8 权重不等于 FP8 训练。拿着 FP8 检查点继续训练，涉及缩放因子、混合精度策略和框架支持，比「下载一个文件然后 fine-tune」复杂。省下的是传输和存储，不是算力。
普通人卡在哪一步
「下不动」其实分三层，很多人卡在第一层就放弃了，但真正的门槛在第二层。
第一层是磁盘和带宽：280GB 起，消费级显卡机器常见 1–2TB 硬盘，还算能塞；2.8TB、5.6TB 就要单独挂盘。
第二层是加载。多数人以为「激活 14B，那我 24GB 显存的卡不就行了」。不行。权重得全部驻留——FP8 的 280B 是 280GB，需要 4 张 80GB 卡，或者大内存机器加 NVMe offload。offload 能跑起来，但速度会掉一个数量级，交互式场景基本没法用。折中方案是 4bit 量化，280B 压到约 140GB，仍然不是单机能解决的量级。
第三层是上下文。1M token 是 Kimi 那条的卖点 ，但长上下文的显存开销随长度涨，和 MoE 的权重开销叠加，实际可用长度取决于你手里有多少卡，不取决于模型卡上的上限。
所以第二条帖文里那句自嘲挺准：能下载，不等于能在家里跑 。
三种用法的成本差一个量级
如果数字属实，这两个模型对不同类型的团队意味着完全不同的东西。
全参继续训练：280B 模型做全参训练，除了权重，还要放梯度和优化器状态。按混合精度 Adam 的通用口径粗估，每参数十几个字节，280B 就是 4–5TB 量级，还没算激活值。这是机构级选项，不是「有张卡就能试」的事。转述里「可用于继续训练」这句话 在技术上成立，在成本上对绝大多数人是空头支票。
部分微调：LoRA 之类的做法只训练少量附加参数，算力需求降下来了，但前提仍然是能把整个基座加载起来。所以第二层门槛没绕过去：微调便宜，加载不便宜。
蒸馏：这是普通团队最现实的一条路——用大模型批量生成或标注数据，去训练一个 1B 到 7B 的学生模型。它不需要把 2.8T 装进显存，只需要调用接口或者租几小时推理实例。成本主要在数据量和质量上，几万到几十万条样本是常见起点。代价是学生模型的天花板由数据和任务决定，不是由老师的总参数决定。
「Base」这个词容易被跳过
ERNIE 那条的名字里带 Base 。基座模型和聊天模型的区别很实际：基座没有经过指令微调，直接对话效果通常很差，想拿它做产品要先自己做 SFT。Kimi 那条没有说明放出的是基座还是后训练版本 。这个差别决定了「下载完能不能直接用」——也决定了采购决策里那部分隐藏的人力成本。
许可证才是真正的分水岭
参数规模决定谁能跑，许可证决定谁能改、能不能商用、能不能拿输出去训练别的模型。这一轮最关键的证据恰好完全缺失：两个模型都没有可查的许可证条款。
这不是程序问题。开源权重常见的限制包括月活门槛、商用需申请、禁止用输出训练竞品模型——每一条都直接影响「蒸馏」这条对普通人最友好的路是否合法。在拿到 LICENSE 原文之前，任何关于「开放」的判断都只是情绪。
从生意角度看，放权重通常不是为了送人，是为了换生态：拉开发者、压推理成本、给云服务导流。但放出权重和放出训练方法、数据、中间检查点是两件事，后者才谈得上复现。这次两条消息都只涉及前者。
值得等的核验清单
真要判断这两个模型对业务有没有用，等官方页面可查时，看四样东西就够了：config.json 里的专家数、每 token 路由专家数、有无共享专家；仓库的 safetensors 索引文件总大小，直接替换掉本文所有体积估算；LICENSE 原文；以及模型卡里写明的训练数据截止时间和评测口径。
在那之前，这两条消息的准确位置是「值得留意的动向」，不是「可以立项的依据」。同一天放出两个大模型权重，说明的是一家公司愿意让出多少控制权，不说明你已经拿到了能用的东西。
转载说明
本文根据以下公开资料整理，原文及配图出处见下方。
评论 0
还没有评论，来抢沙发。