llm-d 发布 1.0：把大模型自托管的部署套路整理成能直接抄的「配方」
作者：许棠
开源推理项目 llm-d 发布 1.0 版，把 Kubernetes 上部署大模型服务的常见生产模式整理成经过验证的部署配方，附 Helm 图表和基准数据；但宣传数字都有前提条件，完整的模型与硬件清单仍需另查。
开源推理项目 llm-d 在 2026 年 10 月发布 1.0 版。它把 Kubernetes 上部署大模型服务的常见生产模式，整理成一批叫「Well-Lit Paths」的部署配方，每个配方都配了 Helm 图表和基准数据，官方称可以当跨模型、跨硬件的起点直接用 。
自托管开源模型的难处，并不在于把单机跑通；真正难的是进一步把它用到生产环境：请求怎么路由、前缀缓存怎么调度、KV 缓存怎么卸载到 CPU 或磁盘、超大模型怎么拆开算、升级时怎么不断服务。这些环节过去都得自己逐个试错 。
llm-d 本身不新造推理引擎，只是在 vLLM、SGLang 这类模型服务之上提供一层编排和调度 。项目由 Red Hat、Google Cloud、IBM Research、CoreWeave、NVIDIA 发起，2026 年 3 月进入 CNCF 沙箱，采用 Apache 2.0 许可证 。Google Cloud 已把 1.0 集成进 GKE，Red Hat 也把它当作 Red Hat AI 的分布式推理栈供货 。
宣传里的「最快路径」需要打个折扣：官网写着吞吐高 3 倍、首字延迟快 2 倍 ，GitHub 则注明这些数字来自项目方与 Tesla、Google、AWS、Oracle 的基准测试，各自限定了具体模型和硬件（如 Llama 3.1 70B 配 4 张 AMD MI300X，对比轮询调度），目前还没见到独立第三方复测 。配方是「活文档」，会随版本改；官网首页的版本标识还停在 v0.8.1，和仓库里的 1.0 发布不同步 。支持的模型和加速器也只举了例：DeepSeek-V4、Kimi K3、gpt-oss-120b，覆盖 NVIDIA、AMD、Intel GPU 和 Google TPU，完整清单得再翻加速器文档 。
结论直白：这东西对有 Kubernetes 运维能力、自己养着 GPU 集群的团队有用，省下的是调参和踩坑的时间，付出的是继续维护整套集群的工夫；普通用户接着用现成 API 就行，跟这项更新关系不大。
转载说明
本文根据以下公开资料整理，原文及配图出处见下方。
评论 0
还没有评论，来抢沙发。