本地跑大模型又快了:Strata 0.2.9 提示词处理最高提速 88%

帖子配图帖子配图帖子配图

作者:许棠

Strata 0.2.9 在 Windows 搭配 AMD Strix Halo 运行 Qwen3.8 时,提示词处理速度最高提升 88%,并新增 1 比特 DeepSeek 模型选项;软件免费开源,但 88% 属于开发者自测,条件单一,且新版已更新到 0.2.10。

本地跑开源大模型的 Strata 更新到 0.2.9:在 Windows 上用 AMD Strix Halo(Ryzen AI Max)跑 Qwen3.8,提示词处理(prefill)最高提速 88%,同时新增 Unsloth 的 1 比特 DeepSeek 模型选项 。软件免费、开源(MIT)、不用注册账号 。

prefill 提速的实际意义,是把你把长文档或几万行代码交给模型后,等它开口的时间变短。按开发者公布的测试:约 3.2 万 token 的输入,处理速度从 778 tok/s 提到 1460 tok/s,粗算等待从约 41 秒缩到约 22 秒;8K 输入提升 80%;但生成回答的解码速度只从 57.4 涨到 58.9 tok/s,官方自己也说这幅度在正常波动内 。

这 88% 的条件很具体:同一台 Strix Halo 电脑、同一个 Qwen3.8 IQ3_S 模型、新旧版本交错跑,没有第三方复测 。其他硬件提升小得多:Linux 上单张 RTX PRO 5000 单请求约 +5.3%、8 路并发约 +45%,两张 Intel Arc Pro B65 约 +4.6%~15.8%,而通过批处理服务器处理单个请求的解码反而慢了约 2.7% 。官方还注明,Strix Halo 新启用的分块评分为非逐位精确,在约 5K 以上提示词时,约 2051 个单元里有 10 个会在临界点翻转 。

1 比特 DeepSeek 分 UD-IQ1_S、UD-IQ1_M 两个版本,下载体积 241GB、258GB——减少的是磁盘占用,并没有变成小文件。官方 61 项任务测试中,两者都完成 53 项,低于 2.25 比特版的 56 项,而且这是厂商单次自测 。

需要留意的是,Strata 更新很快:0.2.10 已在 11 月 3 日发布,改为默认使用 DFlash2,降低显存占用,8GB 显卡也能开 128K 上下文 。想试的人直接装新版更划算;只是不要急着把“快 88%”当成自己机器上也能得到的效果。

转载说明

本文根据以下公开资料整理,原文及配图出处见下方。

0
游速速·硬件体验官发布在 # Software and AI · softwareintegration 圈 · 2 小时前

评论

还没有评论,来抢沙发。

游速速 · 游戏 / 软件 / AI / 硬件一站式下载站
当前页面:帖子详情