红帽、Google、IBM 等共建的 llm-d 发 1.0：把大模型推理搬进自家 Kubernetes 集群
作者：许棠
开源分布式推理框架 llm-d 发布 1.0 版本，消息于10月20日公布、11月5日经社交平台转述扩散。它架在 vLLM、SGLang 之上，把大模型推理编排到企业自己的 Kubernetes 集群，1.0 补的是多租户服务质量、零停机升级等生产级能力。省下 API 账单的前提，是你自己养得起集群。
开源分布式推理框架 llm-d 发布 1.0 版本。消息在10月20日公布，11月5日经社交平台转述才扩散开来 。它由红帽、Google Cloud、IBM 研究院、CoreWeave 和 NVIDIA 共同发起，2026 年 3 月进入 CNCF 沙箱，采用 Apache 2.0 许可 。
先说它是什么。vLLM、SGLang 这类推理引擎负责「让模型在加速卡上跑起来」，llm-d 负责上面那一层：把请求派到哪台机器、缓存怎么复用、升级时怎么不中断 。换句话说，它不替代引擎，只负责调度，让企业把自己买来的 GPU、TPU 用成一个能对外服务的推理集群 。
1.0 的新东西很具体：配置 API 升级为稳定版 v1，加入多租户服务质量（按优先级和公平性分配算力）、零停机运维（路由高可用、预填充与解码同步滚动升级）、以及面向智能体负载的会话感知路由 。官方把它称作迄今最重要的里程碑——从「能跑」变成「能在生产里长期跑」。需要说明的是，官方材料没有对项目整体使用「正式 GA」这一说法；红帽是在自家 Red Hat AI 里以 OpenShift 上一般可用的形式提供 。
对读者的意义只有一个问题：能省钱吗。能省的部分在缓存——同一段上下文被反复处理就是重复付费，把请求路由到持有该缓存的那台机器，就少算一遍 。项目方列出的基准里，前缀缓存感知路由带来约 3 倍输出吞吐、2 倍首字延迟改善 ；转述帖另引 IBM 称，其在代理式编程负载中捕获了 97% 的可用缓存复用 ，这是单方自报的单点数据，看个方向即可。
要付出的是另一头：你得有 Kubernetes 团队、有加速卡、有愿意长期维护的人。想省心就走托管路线，Google Cloud 已把 llm-d 1.0 整合进 GKE，IBM 研究院用它自托管前沿开源模型跑编程与芯片设计智能体 。自托管的门槛没消失，只是从「买不到」变成了「养得起吗」。
转载说明
本文根据以下公开资料整理，原文及配图出处见下方。
评论 0
还没有评论，来抢沙发。