8GB 显存跑 1250 亿参数模型？Strata 新版先存个疑
作者：许棠
本地推理引擎 Strata v0.2.10 声称可在 8GB 显存的 Intel Arc A750 上以每秒 20+ token 运行 1250 亿参数的 Qwen3.8-Flash-Next。开发者未公开基准方法、实际显存占用与内存门槛，也没有第三方复现。
本地推理引擎 Strata v0.2.10 声称，8GB 显存的显卡（举例是 Intel Arc A750）能以每秒 20+ token 的速度跑 1250 亿参数的 Qwen3.8-Flash-Next 。这是开发者 Niko1221 一方报告的数字，目前没看到第三方复现，先按“声称”处理。
按发布说明，模型是 MoE 架构，总参数 125B，但每个 token 只激活约 6B；引擎把专家权重在系统内存和显存之间动态搬运，再用约 0.7GB 的 drafter 做投机解码（DFlash2）加速 。
算笔账：125B 参数就算压到 4bit，也要 60GB 上下的存放空间，8GB 显存物理上装不下。所以这句话只讲了半边——实际是“8GB 显存 + 一大块系统内存 + 硬盘”的组合。想跟风的人先看看内存够不够、SSD 够不够快；这类卸载方案常见短板是读长文时预填充慢，可能输出还能忍，等输入先等到没脾气。
多卡那组数字也要看清：2×RTX A6000 从 201 token/s 到 399 token/s、约 +98%，4×AMD R9700 最高 +78%，原文自己说明是聚合吞吐，不等于单人聊天体验 。
待核实的四件事：基准测试怎么测的、是否依赖内存和硬盘交换、实际显存占用多少、社区复现结果如何，发布说明里都没有公开细节 。对老显卡用户来说，这消息值得记一笔，但不值得先掏钱。
转载说明
本文根据以下公开资料整理，原文及配图出处见下方。
评论 0
还没有评论，来抢沙发。