相距 9000 英里的两个数据中心合训一个模型：每 50 步同步一次，成绩还高了约 1%
作者：陈一帆
11 月 7 日，Basel Ismail 在 X 发帖称，Core Automation 把同一个模型的训练分散到相距约 9000 英里的美国与亚洲两个数据中心，每 50 个训练步才交换一次更新，最终据称比同等算力的单地训练高约 1%。这条帖文是唯一信源，评测指标、基线、模型规模和两地具体位置都还没公开，本文按「据称」处理，并拆解低频同步在工程上为什么可能成立。
11 月 7 日，Basel Ismail 在 X 上发帖称，Core Automation 把同一个模型的训练拆到美国和亚洲两个数据中心，两地相距约 9000 英里；两地每 50 个训练步才交换一次更新，最终成绩据称比同等算力放在单地训练高约 1% 。帖文只有一段话配一张图，没有指向论文、技术报告或公司公告的链接，因此下面出现的数字都按「据称」看待。
跨洲合训贵的不是电，是等
把训练摊到两个大洲，第一反应是带宽不够。其实更难受的是延迟：9000 英里约合 1.4 万公里，光在光纤里单程就要七十多毫秒，来回一趟一百多毫秒（按光在光纤中的传播速度粗略估算，实际路由绕行只会更久）。如果每训练一步就跨太平洋对一次账，GPU 大把时间在等网络，多出来的算力全喂给了链路。
打个日常的比方：两个人合写一份文档，每写一句就发给对方确认一遍，一天下来大部分时间在等消息提示；改成一口气写完一段再对一次，效率立刻不一样。Core Automation 的做法就是把「每步通话」改成「每 50 步通话」，交换次数少了约 50 倍，通信成本被摊薄。
低频同步为什么可能不跑偏
代价是这 50 步里两边会各自往前走，方向可能分叉。原理上这件事有迹可循：短期内的梯度方向往往有局部一致性，两边交换的是累积后的更新量而不是原始数据，定期同步相当于做一次外层校准。类似思路在低通信开销的分布式训练研究里不算新东西。
但要注意，帖文没有说明它具体怎么实现——是简单的更新平均，还是加了动量校正、误差反馈之类的手段，一概没讲。上面这些只是对「为什么低频同步能成立」的一般性解释，不是该团队公开的方法说明 。
这个 1% 先别急着信
最需要保留态度的就是「高约 1%」。帖文没说评的是什么任务、什么指标，基线是不是严格同算力同配置，1% 是不是落在随机波动范围内，也无从判断 。同样缺的还有：Core Automation 是什么样的团队、两地具体在哪个城市、模型多大、用什么硬件和什么样的链路。这些补齐之前，把它当成一次值得记下来的自述实验比较合适，还谈不上被验证的结论。
如果站得住，意义在哪
（以下是观点）真正有意思的不是那 1%，而是它松动了一个默认前提：训练必须把 GPU 挤在一个机房里。要是后续有技术报告或第三方复现，它对算力分布不均这件事有直接参考价值——另一大洲的数据中心不必只做推理，也能参与训练，闲时算力有了去处。
不过期待归期待，眼下的证据边界很清楚：一条帖、一张图、一句「我喜欢这类测试」 。等报告出来，再看这 1% 站不站得住。
陈一帆
转载说明
本文根据以下公开资料整理，原文及配图出处见下方。
评论 0
还没有评论，来抢沙发。