中国计算机学会杭州分部副主席朱霖潮：多模态大模型的研究进展与未来

嘉宾介绍：

朱霖潮，浙江大学计算机科学与技术学院研究员、博士生导师，入选国家级青年人才项目，获首届谷歌学术研究奖、斯坦福全球前2%顶尖科学家、福布斯中国30U30等荣誉。担任CCF杭州分部副主席。曾在澳大利亚悉尼科技大学担任助理教授。主要研究方向为人工智能、科学智能、人工智能通用基础模型等。曾获美国国家标准总局TRECVID LOC等8项国际竞赛冠军。担任NeurIPS、ECCV、CVPR等国际会议领域主席，并多次在国际会议上组织专题研讨会。

以下内容为华为云云服务高级顾问叶正晖在中国计算机学会（CCF）、CCF CTO CLUB联合数新智能共同主办的“多模态数据融合技术创新与落地实战”活动中演讲全文

今天我将围绕多模态大模型的研究进展进行汇报，主要从三个维度展开：多模态理解、多模态生成、多模态执行。

与传统结构化数据不同，多模态数据包含文本、图像、视频等多种形态，其核心挑战在于跨模态的协同处理与交互。下面我将结合具体研究成果进行详细阐述。

大模型技术自2017年 Transformer 架构问世以来经历了快速发展。2019年GPT-1/2的推出标志着语言模型进入十亿参数级别，随后 GPT-3 在2020年突破千亿参数规模。随着技术演进，应用场景已从最初的文本对话扩展到多模态交互和产业赋能，模型能力也从单一文本处理发展为跨模态协同。当前发展趋势表明，大模型正在向融合文本、图像、视频等多模态能力的智能体方向持续演进。

多模态理解技术显著提升了跨模态任务的便捷性。传统应用中，特定任务（如证件识别）往往需要专用软件或定制化解决方案，而现代多模态语言模型通过统一的架构实现了通用化处理。以身份证识别为例，用户仅需拍照即可完成信息提取，无需依赖特定应用程序。这种技术突破的核心在于模型能够将视觉信息直接映射到语义空间，实现端到端的跨模态理解，大幅降低了应用开发的门槛和使用复杂度。          

多模态技术的核心架构建立在成熟的语言模型基础之上。其基本实现路径是通过编码器将不同模态的数据（如图像、视频、数据库等）统一映射到语言模型的输入空间。具体而言，该技术框架包含三个关键组件，包括跨模态编码器负责将非文本数据转换为类文本表征，语言模型主干网络，以及统一解码器生成跨模态的输出结果。技术实现的关键挑战在于如何设计高效的跨模态编码方案，以最小化信息损失。

LLaVA模型创新性地采用线性投影层直接将视觉特征映射到语言模型的嵌入空间，摒弃了传统的中间转换模块设计。这种端到端的轻量化架构虽然简化了模型结构，却带来了显著的序列长度挑战——视觉Token数量往往比文本高出两个数量级。

以1分钟视频为例，原始视觉Token可达10亿量级，即使经过压缩仍会生成百万级Token序列，这不仅超出了常规语言模型的上下文窗口限制，更对计算效率提出了严峻考验。该问题在实时交互场景下尤为突出，亟需开发新型的视觉Token压缩算法来平衡信息完整性与计算可行性。

传统监控系统通常需要部署大量专用模型（如人员闯入检测等），导致模型管理复杂、计算资源分散。而基于多模态大模型的新型架构，可通过统一框架处理持续视频流数据。

这推动了两方面的技术突破：1）开发时空自适应压缩算法；2）构建层次化语义提取架构，从而在保证理解精度的前提下实现计算效率的数量级提升。当前多模态理解技术的本质，是通过特征空间映射将异构数据统一到语言模型的处理范式，其关键在于平衡模态转换的完备性与计算可行性。

多模态生成技术的核心目标是实现跨模态的内容创作，其典型应用包括：根据文本描述生成图像（如"生成某人跳舞的画面"）或基于视觉输入合成音乐等。以Sora为代表的视频生成模型展现了该技术的突破性进展，其核心挑战在于时空维度的双重建模——视频不仅需要处理单帧图像的视觉特征，还需保持帧间的时间连贯性。

多模态生成技术在影视创作和自动驾驶等领域展现出重要应用价值。在电影制作场景中，系统能够根据细粒度的文本描述（包含转场效果、声音设计、物体运动等要素）同步生成视听内容，这种端到端的创作流程显著提升了内容生产效率。其技术实现包含两个关键阶段：首先通过语言模型将创作意图转化为结构化描述，再由多模态生成器执行跨模态合成。

值得注意的是，该技术生成的合成数据（如自动驾驶训练所需的逼真场景）正在突破传统仿真的局限性。当前技术挑战主要在于生成数据与真实场景的域差距（Domain Gap）控制，这需要结合物理仿真与生成模型的混合架构来实现。

多模态技术体系已经形成了理解、生成和执行三大核心能力，正在从专用化走向通用化发展。

在理解层面，统一架构可以替代数百个专用模型，通过共享语义空间处理文本、图像等异构数据；

生成技术实现了跨模态内容创作，如根据文本生成电影场景或自动驾驶仿真环境，其核心突破在于保持生成内容的物理合理性和时空一致性；

执行层面则使系统能够感知多模态环境并输出可执行指令，在工业控制、自动化巡检等场景展现出独特价值。

当前技术正呈现两大演进趋势：一方面从碎片化模型向通用接口转变；另一方面从被动的人机交互转向自主的环境交互，在虚拟和现实空间都展现出强大的应用潜力。特别是在危险环境模拟等特殊场景，多模态执行技术通过实时可靠的指令序列生成，正在突破传统自动化系统的局限性。这些发展共同推动着多模态技术从单一功能向智能体系统的进化。

多模态执行技术通过智能系统与物理环境及数字空间的深度交互，展现出超越传统人机交互范式的独特价值。以机械臂执行任务为例，系统首先通过视觉传感器获取环境信息，经多模态模型处理后生成控制指令序列，机械臂执行过程中持续接收力觉反馈并实时调整动作——这种闭环交互模式体现了执行技术与单纯内容生成的根本差异。

该技术的核心特征在于其动态交互能力：系统输出的控制指令（如机械臂关节角度、网络API调用参数）会实际改变环境状态，而环境反馈又触发模型的迭代优化，形成持续演进的行为闭环。这种能力使得智能系统能够自主操作物理设备（工业机器人）、管理数字资产（云服务编排）或协调混合环境（数字孪生系统），其应用价值正从仿真训练向实际业务场景快速延伸。当前技术突破的关键在于提高动作序列的可靠性和环境反馈的实时处理能力，这需要算法、传感器和控制系统的高度协同。

多模态执行系统在复杂问题求解方面展现出显著优势。以OpenAI的研究为例，当系统能够自主调用互联网工具和计算资源时，其解题能力实现了质的飞跃。这组数据揭示了两个关键发现：首先，系统通过多模态交互整合外部工具的能力，远比单纯的内容生成更为强大；其次，这种能力在解决人类专家精心设计的原创性难题时尤为突出，说明多模态执行正在突破传统AI系统的能力边界。

这种突破不仅体现在分数提升上，更在于系统能够自主规划解题路径，动态调用所需工具，并整合异构信息源，最终形成闭环的问题解决能力。

多模态智能体的核心价值在于其与环境动态交互的能力体系。系统通过实时感知虚拟环境状态（包括界面元素、任务目标等），自主生成操作指令序列（如鼠标轨迹、键盘输入），在执行过程中持续接收环境反馈并调整策略，形成完整的感知-决策-执行闭环。

这种交互模式本质上构建了一个动态演进的Token处理体系：环境状态被编码为输入Token，模型生成的行动指令作为输出Token，而环境反馈又形成新的输入Token，构成持续流动的交互流。相较于静态内容生成，这种执行范式需要处理更复杂的时序依赖和状态管理，其技术难点在于保持长期交互的一致性和鲁棒性。当前应用已从游戏场景向自动化测试、智能辅助等实际业务场景延伸，展现出改造传统人机协作模式的潜力。

核心技术突破在于构建了端到端的操作闭环：系统首先解析用户指令（如"检测外卖类APP"），然后生成适配不同应用界面的操作序列，在执行过程中实时解析屏幕元素并调整操作策略。这种动态交互能力使系统能够处理各类应用的特异化界面布局，完成从基础功能测试到复杂业务逻辑验证的多层次检测任务，大幅提升了移动应用生态治理的效率和覆盖范围。

我们正在研发的多智能体协作系统实现了复杂任务的分布式执行。以房屋建造场景为例，系统通过大模型直接生成可执行的施工指令序列，协调多个智能体协同完成建材搬运、结构组装等子任务。该技术的核心突破在于建立了三层处理架构：环境感知层实时采集工地多模态数据，任务规划层分解施工蓝图为可执行工序，运动控制层生成具体操作指令。

这种架构使系统能够动态调整各智能体的作业计划，处理施工过程中的突发状况，确保整体任务的连贯性和安全性。相较于单模态的理解或生成任务，这种多智能体协作系统需要处理更复杂的时空约束和资源分配问题，其技术难点主要在于实时决策的准确性和多主体协调的一致性保障。

大语言模型的发展已实现文本任务的范式统一，从GPT-1到GPT-4的演进清晰展现了单模态任务的收敛路径。然而当前技术体系仍存在三大能力割裂：理解系统擅长语义解析却缺乏创作能力，生成模型可产出内容但难以保障准确性，而执行模块又与前两者缺乏协同。这种割裂在跨模态场景尤为明显——视觉理解模型无法直接驱动机械臂，文本生成器难以实时响应环境反馈。

究其本质，现有人工智能仍处于"感官分离"阶段，各类感知与执行能力尚未形成有机统一的智能体架构。这正是下一代多模态系统需要突破的关键：构建能同时处理语义理解、内容生成和物理交互的统一计算框架，使模型不仅能解读世界，更能自主改变世界。

当前AI技术正朝着多模态能力融合的方向快速发展。最新一代生成模型已实现理解与生成功能的有机统一，典型表现为单模型即可完成从自然语言指令到视觉内容的端到端生成与编辑。这种技术整合突破了传统系统中理解模块与生成模块割裂的局限，通过共享的神经网络架构和统一的表征空间，使模型能够同时处理语义解析和内容创作任务。

其核心进步体现在：输入指令的语义理解深度与生成内容的质量控制形成正向循环，编辑过程可基于语义反馈持续优化输出。这种融合架构正在成为行业标准，预示着人工智能系统从单一功能向综合智能体的演进趋势。

当前多模态模型已实现从语义理解到内容生成的端到端整合。以图像创作为例，用户通过自然语言指令即可直接生成并迭代修改视觉内容，无需传统定制化模型的中间环节。这种统一架构的关键突破在于模型建立了跨模态的联合表征空间，使语义理解与内容生成形成闭环：文本指令被精准映射到视觉特征空间，而生成结果又能反馈优化语义解析。

技术演进表明，新一代模型正从早期的单一能力专精（如GPT系列的语言理解、DALL·E的图像生成）发展为多模态协同的智能体系，其核心优势在于实现了意图理解与内容创作的无缝衔接。这种融合不仅提升了创作效率，更重塑了人机交互范式——用户只需关注"要什么"，而无需了解"怎么做"，标志着AI系统向真正智能助理的转变。

当前AI发展的核心趋势体现在数据的统一Token化处理范式。所有模态的信息——无论是文本、图像还是音频——都通过编码器转化为标准化的Token序列，在模型内部进行统一处理后再解码为目标模态。

这种架构的本质是构建跨模态的通用表征空间，其技术优势在于：首先，实现了多模态数据的无缝整合，使模型能并行处理异构信息；其次，通过Token数量与计算资源的关联，为模型效能评估提供了量化指标；最后，统一的处理流程大幅降低了系统复杂度。这一演进方向预示着未来智能系统将突破模态边界，Token作为信息处理的基本单元，其压缩效率与重构质量将成为衡量模型能力的关键维度，推动人工智能向真正的通用智能体发展。

谢谢大家！