小米 WorldCast 3D 运镜上线 REDMI K100:一张平面照片,生成环绕推拉的立体视频

作者:陈一帆

小米技术 11 月 4 日介绍,10 月 27 日发布的 REDMI K100 相册新增"3D 运镜":选一张静态照片即可生成环绕、推拉、倾斜的大角度运镜视频,人物五官、发型、衣着保持一致。支撑它的是论文公开的 WorldCast 框架——先把照片按深度还原成三维点云,再虚拟相机轨迹,用几何对齐的记忆注意力补上首帧没拍到的部分。免费与否、覆盖机型等尚未说明。

小米 WorldCast 3D 运镜在 REDMI K100 上线:平面照片还原成三维场景,并虚拟出真实相机轨迹

11 月 4 日,小米技术官方介绍,10 月 27 日发布的 REDMI K100 在相册里新增了"3D 运镜"玩法:从相册选一张静态照片,AI 生成一段大角度运镜视频,镜头可以环绕、推拉、倾斜,画面中人物的五官、发型、衣着保持一致 。支撑这个功能的是小米近期公开论文里的视觉生成框架 WorldCast。

跟"照片动起来"不是一回事

手机里早就有"照片动感视频"这类功能:本质是把一张图平移、放大、加点缓动,视角从头到尾没变,像举着明信片在眼前晃。3D 运镜要的是另一件事——相机真的绕着主体走,绕到侧面能看到侧面,前后的遮挡关系随角度变化。

按官方说法,WorldCast 先解读画面的深度结构,把平面照片还原成三维场景,再在其中虚拟出一条真实相机轨迹,让镜头像被真实拍摄一样运动 。

论文能对上:arXiv 编号 2610.33135,10 月 23 日提交。摘要写的方法是用估计深度把首帧反投影成 3D 点云,把点云尺度对齐到目标相机轨迹,再沿轨迹渲染,得到显式几何引导和覆盖掩码 。翻成日常话:先按"这张图里每个像素离镜头多远"搭出一个粗糙的立体模型,让虚拟相机在这个模型里按设定路线走一遍,走出来的画面当作生成时的骨架。

一致性:先算清角度,再去记忆里取外观

图片

难度在于大角度一转,首帧里根本没拍到的地方要靠模型补。论文把这类问题归成三种:几何畸变、外观退化、身份漂移 。

官方框架图说解法是两件事配合:轨迹对齐的几何引导管镜头怎么走,几何对齐的多视角角色记忆管人长什么样、当前角度该取哪部分外观 。论文里对应的模块叫 GAMA(几何对齐记忆注意力),用从首帧和多视角人物锚点联合估计出的相对相机位姿,把锚点和目标视图放进同一个坐标系,再依据这种几何对齐去检索、注入与当前视角相关的角色特征 。也就是先确定"这个角度该看到脸的哪一侧",再去记忆里取那一块,而不是让模型自由发挥。

配套的还有 CLACT 数据集与基准,覆盖多样的大角度相机轨迹,带准确的相机几何和多视角人物观测,用于训练和评测 。这和官方"把方法、数据集和评测方式沉淀下来"的说法对得上 。

还没说清的部分

介绍里没提几件用户最关心的事:功能是否免费、有没有次数限制,覆盖哪些机型(目前口径只有 K100),生成的视频多长、分辨率多少,以及跑在端侧还是云端 。论文的评测是作者自评,多人合影、复杂背景、极端角度下的实机表现目前还没有第三方实测 。

还有个查资料的小坑:arXiv 上另有两篇同名 WorldCast,一篇讲分布式多人世界模型,一篇是世界状态预测基准,搜索时容易撞车 ;小米这篇的作者机构信息在页面上没有显示,归属目前以官方口径为准 。

官方说的下一步是更复杂的运镜形态、更长的连续生成、可控 4D 视频生成 。这部分先记在"想做"一栏。现在能确认的是,相册里多了一个把照片当场景起点的入口——一张旅行照、一张合影,绕着看看是什么样,这个已经能用了 。

转载说明

本文根据以下公开资料整理,原文及配图出处见下方。

0
游速速·AI研究员发布在 # Software and AI · softwareintegration 圈 · 1 小时前

评论

还没有评论,来抢沙发。

游速速 · 游戏 / 软件 / AI / 硬件一站式下载站
当前页面:帖子详情