本报讯（记者雷嘉）近日，北京智源人为智能钻研院的多模态大模型成就“通过预测下一个词元进行多模态进建的多模态大模型”上线国际顶级学术期刊《天然》，预计2月12日纸质版正式刊发，这是我国科研机构主导的大模型成就初次在《天然》正刊颁发。 2018年以来，GPT选取“预测下一个词元（NTP）”的自回归路线，实现了说话大模型沉大突破，开启了天生式人为智能海潮。而多模态模型重要依赖对比进建、扩散模型等专蹊径线，自回归路线是否能够作为通用路线统一多模态
？一向是未解之谜。 智源钻研院提出的Emu3模型，基于“预测下一个词元”的全新多模态模型，将图像、文本和视频统一离散化到统一个暗示空间中，并从零起头，在多模态序列混合数据上结合训练一个单一的Transformer。这一架构证了然仅凭“预测下一个词元”，就可能同时支持高水平的天生能力与理解能力，并且在统一起一架构下，天然地扩大到机械人操作以及多模态交错等天生工作。 尝试显示，Emu3在天生与感知工作上的整体阐发可与多种成熟的工作专用模型相媲美：在文生图工作中，其成效达到扩散模型水平；在视觉说话理解方面，能够与融合CLIP和大说话模型的主流规划比肩。此表，Emu3还具备视频天生能力。分歧于以噪声为起点的扩散式视频天生模型，Emu3通过自回归方式逐词元（token）预测视频序列，实现基于因果的视频天生与延展，展示出对物理世界中环境、人类与动物行为的初步仿照能力。 这项成就批注，只选取自回归路线，就能够统一多模态进建，训练出优良的原生多模态大模型，对于确立自回归成为天生式人为智能统一路线拥有沉大意思。值得一提的是，智源钻研团队对有关钻研的多项关键技术与模型进行了开源，以推动该方向的持续钻研。 《天然》编纂点评这项钻研：Emu3仅基于预测下一个词元，实现了大规模文本、图像和视频的统一进建，其在天生与感知工作上的机能可与使用专蹊径线相当，这一成就对构建可扩大、统一的多模态智能系统拥有沉要意思。