8GB显卡也能开128K上下文:Strata 0.2.10默认换用DFlash2省显存
作者:阿乐
Strata 0.2.10 把推测解码器 DFlash2 设为默认,显存占用从 MTP 的约 5.2GB 降到约 625MiB,8GB 显卡也能启动 128K 上下文。省钱有代价:显存压力转到内存和 SSD,DFlash2 默认只服务 Qwen3.8、一次一个请求,其他场景自动换回 MTP。
本地大模型工具 Strata 在 11 月 3 日发布 0.2.10,把推测解码器 DFlash2 设为默认。它的显存占用约 625MiB,旧的 MTP 推测层要占约 5.2GB;少了这 ~4.6GB 显存占用,8GB 显卡也能直接启动 128K 上下文 。
DFlash2 做的事不复杂:让小模型先猜接下来几个词,主模型一次批量核对,猜对得多就快。官方把一张大卡手动限到 8GB 显存,运行 Qwen3.8 IQ3_S 并开启 128K 上下文,生成速度 63~73 Token/s;一张真正的 Intel Arc A750 8GB 也成功启动 128K 上下文,生成 12.7~14.8 Token/s 。小众软件作者青小蛙更新后实测提速 25%,但这只是单机一次实测,看个参考就好 。
代价和适用范围要说清。省下的显存并没有消失,压力转到了内存和 SSD 上,站方的建议是内存 32GB 起步、64GB 才算温饱 。DFlash2 默认只服务 Qwen3.8,一次只处理一个请求:DeepSeek、多并发等场景会自动换回 MTP;处理提示词时它反而更慢,同样是 32K 提示词,它要 19.8 秒,MTP 只要 13.4 秒 。12GB 显卡这次没有变化 。
这一版还加入了多显卡的 All-cards Split Engine(把每层分摊到各张卡上,官方用两张 A6000 测试,代码编辑从 195 Token/s 提到 377~394),以及编程向的 ISTA-DAS Coder 。Strata 免费开源,Windows、macOS、Linux 都能装,图形界面可以直接升级;应用和引擎需要分别更新到 0.2.10 和 0.1.56 。手里是 3060、4060 这类 8GB 卡,可以先备好内存,再谈长上下文。
转载说明
本文根据以下公开资料整理,原文及配图出处见下方。
- [S1] Strata 0.2.10 发布:本地 AI 大模型继续提速,默认使用 DFlash2 降低显存需求,8GB 显卡也能开启 128K 上下文
- [S2] Releases · Niko1221/Strata
- 配图 1:来源:小众软件(图片署名见原文) · 图片出处
- 配图 2:来源:小众软件(图片署名见原文) · 图片出处
- 配图 3:来源:小众软件(图片署名见原文) · 图片出处
- 配图 4:来源:小众软件(图片署名见原文) · 图片出处




评论 0
还没有评论,来抢沙发。