机器人也会记错事：MIT 给机器人记忆加了道自查工序

作者：许棠

MIT 团队的新系统 UQ-DAAAM 能自动挑出机器人记忆里不可靠的物体描述，并靠补看几个新视角把它改对。论文 6 月已挂 arXiv，MIT News 11 月 5 日介绍，团队将在 NeurIPS 上报告。相比上一代记忆系统，多出来的能力是机器人能判断自己哪条记忆不能信——但离进家庭还有不短的距离。

MIT 团队做了一个叫 UQ-DAAAM 的系统，能自动找出机器人记忆里不可靠的物体描述，再补看几个视角把它改对，论文 6 月已挂上 arXiv，MIT News 11 月 5 日刊文介绍，团队将在神经信息处理系统大会（NeurIPS）上报告 。相比它上一代的记忆系统 DAAAM，变化是：机器人现在能判断自己哪条记忆不能信 。

它为什么会记错

这类机器人干活，靠的是先“把看到的东西写成一句话”。视觉语言模型（VLM）把摄像头画面转成文字描述，存进一张带位置和时间的三维地图——论文里叫 4D 场景图，之后要拿东西、答问题就去检索 。

出错就出在这一步。物体离得远、被挡住、光线差、画面糊，VLM 照样会写出一句“很自信但不对”的描述。MIT News 举的例子是把屋顶上的灰色烟囱记成蹲着的松鼠 。旧的系统把 VLM 的输出当标准答案，没有任何机制检查存进去的描述靠不靠谱，错的条目就会一直留着、一路影响后面的任务 。

纠错怎么发生

UQ-DAAAM 的做法是让机器人自己算“我有多不确定”：

• 默认给同一个物体选 3 个视角，各写一份描述 ；
• 把两个信号合成一个分数——不同视角的描述彼此矛盾到什么程度，以及单条描述自身是否不连贯 ；
• 分数超过阈值，就用一条简单的规则挑补充视角。论文给出了概率证明：按这套规则挑出的高质量视角更可能降低不确定性；而且有闭式公式，不用重跑一遍大模型 。举例来说，几帧之后拍到烟从烟囱里冒出来，就能确认那是烟囱而不是松鼠 ；
• 最后用大语言模型把多视角描述融成一条，新描述和歧义少的权重更高 。

项目资深作者、MIT 航空航天系副教授 Luca Carlone 说，这里的难点是让这套流程在移动的机器人上“零点几秒”跑完。他还补了一句值得记住的话：物理世界的 AI 不能像 ChatGPT 那样只挂个“我可能会错”的免责声明，机器人得知道自己不知道什么 。

效果与代价

MIT News 给出的数字：这一纠错步骤能解决约 92% 物体的歧义，平均每个物体只需追加 2 条描述；物体描述准确率比现有最好方法提高 5% 。论文摘要的说法是，在 OC-NaVQA 时空问答基准上，UQ-DAAAM 的不确定性下降幅度和问答表现都显著优于基线 ，但摘要没写这两个具体数字。就我能读到的公开正文（到方法部分为止），92% 和 5% 还只是团队对媒体的口径，等全文实验细节公开后再下定论更稳。

要付出的部分也得说清楚。实验是在校园场景数据集上跑基准测试，不是家庭实测 ；系统依赖 RGB-D 相机加 VLM、LLM，每次纠错都是额外的模型调用，论文没有给出硬件门槛、成本数字和落地时间表 。另外两项披露：研究部分由美国陆军研究实验室和美国海军研究办公室资助；Carlone 目前正以 Amazon Scholar 身份学术休假，MIT 声明这项研究与亚马逊无关 。

落到买机器人的人身上

演示视频里机器人“认得东西”不稀奇，值得问的是它记错了能不能自己发现、自己改。这项研究补的正是这一环，但它是实验室里的一小步：从校园数据集到你家客厅，中间还隔着成本、算力和真实家务的混乱程度。

所以下次听到厂商说“越用越懂你家”，可以追问一句：它知道自己哪条记忆不可信吗？说不出来，那就还是演示。

转载说明

本文根据以下公开资料整理，原文及配图出处见下方。

• [S1] Clearing up a robot’s fuzzy memory
• [S2] arXiv Query: search_query=all:"UQ-DAAAM"&id_list=&start=0&max_results=10
• [S3] "Uncertainty Quantification for Describe Anything"&id_list=&start=0&max_results=10
• [S4] Remember with Confidence: Uncertainty Quantification for Spatio-temporal Memory with Probabilistic Guarantees
• [S5] Remember with Confidence: Uncertainty Quantification for Spatio-temporal Memory with Probabilistic Guarantees
• [S6] Remember with Confidence: Uncertainty Quantification for Spatio-temporal Memory with Probabilistic Guarantees
• 配图 1：来源：MIT News | Massachusetts Institute of Technology（图片署名见原文） · 图片出处
• 配图 2：来源：MIT News | Massachusetts Institute of Technology（图片署名见原文） · 图片出处
• 配图 3：来源：MIT News | Massachusetts Institute of Technology（图片署名见原文） · 图片出处
• 配图 4：来源：MIT News | Massachusetts Institute of Technology（图片署名见原文） · 图片出处