英伟达称不换芯片也能提速：DGX Spark靠软件优化多吐42.5%的token

作者：陈一帆

X账号@TMA_MarketIntel称，英伟达仅靠软件优化把单台DGX Spark的token生成吞吐从37.81提升到53.89 tokens/s（+42.5%），延迟降24.5%。对照英伟达技术博客原文，数字与测试条件均可核实：这是桌面平台单机、batch=1、单一MoE模型的厂商自测结果。

11 月 4 日，X 账号 @TMA_MarketIntel 发帖称，英伟达没换任何硬件，只靠软件优化，就把单台 DGX Spark 的 token 生成吞吐从 37.81 tokens/s 提升到 53.89 tokens/s，涨幅 42.5%，平均响应延迟同时下降 24.5% 。这是二手转述，我顺着它标注的出处回到英伟达技术博客 10 月 27 日的原文《3 Ways to Boost MoE Inference on NVIDIA DGX Spark》，把数字和测试条件逐项对了一遍，都对得上 。先说清口径：推文来自投资类账号，博客是厂商自测，我没有看到第三方独立复现。

不换卡，快在哪

可以想成一辆车：发动机没动，但换了更合脚的轮胎、把后备箱里的重物卸了、还雇了个熟路的领航员先探路。博客把三件事拆得很干净 ：

• 换 MoE 内核：默认后端换成 Humming 库，用运行时编译按这个模型的实际矩阵形状现场生成内核，像量体裁衣而不是套均码。这一步单独带来 +9.3%。
• 输出层压到 FP8：模型每吐一个 token，都要读完词表投影层（157,184 × 2,560 的权重块），从 BF16 压到 FP8，读取量直接减半，累计 +21.7%。
• MTP 投机解码：用模型自带的 NEXTN 层当草稿，一轮先起草三个 token，主模型四个位置一起验收。收益取决于验收通过率，所以文本越套路化、涨得越多。

被测模型是 Inclusion AI 的 Ling-3.0-flash-fp4：1240 亿总参数，每个 token 只激活 51 亿，512 个专家里路由 8 个，跑在 128 GB 统一内存的 DGX Spark 上，batch size 1 。

换成真实负载，数字会缩水

合成负载（32K 输入、2K 输出）下三个优化全开，吞吐能到 102.88 tokens/s，+185.1% 。但博客自己提醒：合成文本重复度高，会让草稿更容易被接受，系统性高估投机解码的收益 。

严格口径用的是 GSM8K 全量 1,319 题、五样本提示、温度 0.6：TPOT 从 26.45 ms 降到 18.56 ms，解码吞吐 37.81 → 53.89 tokens/s（+42.5%），平均延迟 15.21 s → 11.49 s（−24.5%），准确率 96.89% → 96.82% 。也就是说，推文里那个 42.5% 反而是更保守的数字；草稿验收长度也从合成负载的 3.90 掉到 2.68 。

两个容易被忽略的细节

一是三个优化叠加不是自动生效。FP8 输出层和 MTP 同时开时，草稿模型必须和主模型共享整个 LM-head 模块，只共享权重张量不行——框架会静默回退，验收长度掉到 1.00，最终比完全不优化还慢，而且从后续性能数字上看不出来 。博客的建议很实在：部署时逐项确认每个优化真的启动了，别靠跑分反推配置。

二是可复现的门槛不高。Humming 是公开的 pip 包，部署说明写在 Ling cookbook 里 ，手里有 Spark 的人理论上可以照着跑一遍。

边界

这是桌面级单机、单一 MoE 模型、batch=1 的解码侧吞吐演示，基线是官方 cookbook 的 W4A8 默认配置 ，外推成数据中心或所有模型的通用提速并不成立。另外 GSM8K 对这类模型已接近饱和，96.8% 上下“质量无损”的说服力有限，换更难的基准未必这么平——这句是我的判断，不是博客结论。

对普通用户的实际意义：同一台机器、同样一张卡，四成左右的解码速度是官方博客里写清路径、可以自己动手试的东西 。这类调校也提示了一件事：以后衡量本地 AI 性能，光看参数和显存不够，还得看软件栈把每步解码的开销压到了多少。

转载说明

本文根据以下公开资料整理，原文及配图出处见下方。

• [S1] 🚨 $NVDA BOOSTS AI PERFORMANCE 42.5% WITHOUT UPGRADING THE HARDWARE. NVIDIA has demonstrated how software optimization c · Trademaster Academy
• [S2] NVIDIA Technical Blog
• [S3] 3 Ways to Boost MoE Inference on NVIDIA DGX Spark
• 配图 1：来源：NVIDIA Technical Blog（图片署名见原文） · 图片出处
• 配图 2：来源：NVIDIA Technical Blog（图片署名见原文） · 图片出处
• 配图 3：来源：NVIDIA Technical Blog（图片署名见原文） · 图片出处
• 配图 4：来源：NVIDIA Technical Blog（图片署名见原文） · 图片出处