只用机器生成的符号序列训练，小模型也能预测真实文本和图像
作者：林序
TechXplore 在 X 上介绍一项概念验证：一个从未见过真实数据的 AI 模型，仅用生成的符号序列训练，就获得了对真实文本、图像和 DNA 的预测能力；研究者强调这仍限于小模型，论文挂在 arXiv 上。
据 TechXplore 11 月 5 日在 X 上发布的消息，一个 AI 模型完全没用真实数据训练，只靠机器生成的符号序列，就获得了对真实世界文本、图像和 DNA 的预测能力。帖子同时点明，这是限于小模型的概念验证，论文挂在 arXiv 上 。
所谓符号序列，可以理解成把内容切成一串离散的字符或标记（token），再让模型学习下一个符号出现的概率。这次实验的特殊之处在教材来源：教材是机器自己生成的，不是人类写下的原文、拍下的图片或测出的基因序列。
打个比方，就像一个人只临摹仿写字帖，没读过真迹，练完之后却能读懂真迹的笔法与结构。研究者报告的，正是这种迁移：训练的“字帖”是合成的，测试的对象却是真实的。
背景是近两年的一条现实压力。可用于训练的高质量真实数据越来越紧，合成数据能不能顶上，业内一直有争论。这项结果给出的是一句有条件的“能”，范围限于小模型和预测类任务。
限制也要说清楚。目前公开的只有社交平台上的一段简介，模型到底多小、与直接用真实数据训练的模型差多少、原文对“泛化到真实数据”的表述有多强，都需核对论文原文。在核实之前，不适合把它读成“AI 已经不需要真实数据”。
转载说明
本文根据以下公开资料整理，原文及配图出处见下方。
0
评论 0
还没有评论，来抢沙发。