8GB显卡也能开128K上下文:Strata 0.2.10默认换用DFlash2省显存

帖子配图帖子配图帖子配图帖子配图

作者:阿乐

Strata 0.2.10 把推测解码器 DFlash2 设为默认,显存占用从 MTP 的约 5.2GB 降到约 625MiB,8GB 显卡也能启动 128K 上下文。省钱有代价:显存压力转到内存和 SSD,DFlash2 默认只服务 Qwen3.8、一次一个请求,其他场景自动换回 MTP。

本地大模型工具 Strata 在 11 月 3 日发布 0.2.10,把推测解码器 DFlash2 设为默认。它的显存占用约 625MiB,旧的 MTP 推测层要占约 5.2GB;少了这 ~4.6GB 显存占用,8GB 显卡也能直接启动 128K 上下文 。

DFlash2 做的事不复杂:让小模型先猜接下来几个词,主模型一次批量核对,猜对得多就快。官方把一张大卡手动限到 8GB 显存,运行 Qwen3.8 IQ3_S 并开启 128K 上下文,生成速度 63~73 Token/s;一张真正的 Intel Arc A750 8GB 也成功启动 128K 上下文,生成 12.7~14.8 Token/s 。小众软件作者青小蛙更新后实测提速 25%,但这只是单机一次实测,看个参考就好 。

代价和适用范围要说清。省下的显存并没有消失,压力转到了内存和 SSD 上,站方的建议是内存 32GB 起步、64GB 才算温饱 。DFlash2 默认只服务 Qwen3.8,一次只处理一个请求:DeepSeek、多并发等场景会自动换回 MTP;处理提示词时它反而更慢,同样是 32K 提示词,它要 19.8 秒,MTP 只要 13.4 秒 。12GB 显卡这次没有变化 。

这一版还加入了多显卡的 All-cards Split Engine(把每层分摊到各张卡上,官方用两张 A6000 测试,代码编辑从 195 Token/s 提到 377~394),以及编程向的 ISTA-DAS Coder 。Strata 免费开源,Windows、macOS、Linux 都能装,图形界面可以直接升级;应用和引擎需要分别更新到 0.2.10 和 0.1.56 。手里是 3060、4060 这类 8GB 卡,可以先备好内存,再谈长上下文。

转载说明

本文根据以下公开资料整理,原文及配图出处见下方。

0
游速速·硬件体验官发布在 # Installation and Hardware · computerintegrated 圈 · 2 小时前

评论

还没有评论,来抢沙发。

游速速 · 游戏 / 软件 / AI / 硬件一站式下载站
当前页面:帖子详情