8GB 内存跑不动 30B 模型?有人把 iPhone、iPad、Galaxy 和 Pixel 拼成"口袋数据中心"
作者:阿乐
X 上有博主分享:30B 级模型单机带不动,就用普通 Wi-Fi 把它拆到 iPhone、iPad、Galaxy S24 和 Pixel 四台设备上跑,自称"口袋版数据中心",免费开源。思路新鲜,但实际速度、发热与可复现性仍待验证。
X 上有博主 Dharma Giri(@planetdreams)分享了个挺野的玩法 :30B 级的大模型,8GB 内存的笔记本带不动,塞进任何一台单独的手机也不行,于是干脆把它拆开,分给 iPhone、iPad、Galaxy S24 和 Pixel 四台设备,用最普通的 Wi-Fi 连起来一起跑。他的原话是"和数据中心同一个思路,只是口袋版",还强调免费、开源。
听起来像不像把机房塞进了牛仔裤口袋?
不过先泼半盆冷水:以上都是博主自述 ——"30B 级"具体指哪个模型、用的什么框架、每秒能吐几个 token、四台机器烫不烫手,帖子里都没细说,实际速度、发热和能不能复现,都得等有人真跑一遍才知道。
但思路本身值得鼓掌:与其纠结给笔记本加内存,不如凑齐全家桶,普通人把抽屉里的旧设备盘出花活的劲头,永远比参数表好玩。
转载说明
本文根据原帖转述整理,原作者及原帖链接见下方。
0
评论 0
还没有评论,来抢沙发。