1月28日，智源研究院多模态大模型成果\"Multimodal learning with next-token prediction for large multimodal models（通过预测下一个词元进行多模态学习的多模态大模型）\"，在学术期刊《自然》（Nature）上线。据了解，这是我国科研机构主导的大模型成果首次在Nature正刊发表。

Nature编辑点评这项研究：Emu3仅基于预测下一个词元（Next-token prediction），实现了大规模文本、图像和视频的统一学习，其在生成与感知任务上的性能可与使用专门路线相当，这一成果对构建可扩展、统一的多模态智能系统具有重要意义。

Emu3架构图

据介绍，Emu3将图像、文本和视频统一离散化到同一个表示空间中，并从零开始，在多模态序列混合数据上联合训练一个单一的 Transformer。这一架构证明了仅凭“预测下一个词元”，就能够同时支持高水平的生成能力与理解能力，并且在同一统一架构下，自然地扩展到机器人操作以及多模态交错等生成任务。此外，研究团队还做了大量消融实验和分析，验证了多模态学习的规模定律（Scaling law）、统一离散化的高效性、以及解码器架构的有效性。

实验数据显示，在生成与感知任务上，Emu3的表现可对标成熟的任务专用模型：在文生图任务中，其效果接近扩散模型；在视觉语言理解方面，则与融合CLIP和大语言模型的主流方案相当。此外，该模型支持视频生成，通过逐词元预测视频序列的方式，实现了基于因果的视频生成与延展。

目前，智源研究团队已对Emu3的相关关键技术与模型进行了开源。智源研究院自2022年启动Emu系列模型研发，目前已构建起覆盖多模态世界模型、具身智能大脑等方向的技术基座。（袁宁）

本文来自网易科技报道，更多资讯和深度内容，关注我们。