多模态让人工智能更懂这个“花花世界”如果把传统的单模态人工智能比作只用一种感官感知世界的人比如只用耳朵听或者只用眼睛看那么多模态人工智能就是一个眼、耳、口、鼻、身样样俱全并能将这些感官信息融会贯通的“完整个体”。下面我将从四个方面由浅入深地带你领略多模态的魅力并在最后附上一张总结框图。1. 什么是模态什么是多模态模态 (Modality)简单说就是信息的来源或形式。我们最熟悉的模态有文本、图像、音频、视频。其他模态还包括传感器数据、红外图像、深度图、触觉信号等。单模态 (Unimodal)人工智能只处理一种类型的信息。例如只能看懂文字的BERT模型只能识别图片内容的ResNet模型。多模态 (Multimodal)让人工智能同时处理和关联来自不同模态的信息从而形成对事物更全面、更准确的理解。一个生动的例子想象你在看一段美食视频。你看到的画面是图像和视频模态。你听到的解说和背景音乐是音频模态。屏幕上显示的菜谱和步骤说明是文本模态。一个单模态模型只能理解其中一部分而一个多模态模型则能将这三者结合起来理解“这个画面上的动作对应了解说里的哪句话”甚至推断出“这个菜的味道应该是辣的”因为画面里有辣椒解说也提到了。2. 为什么多模态如此重要因为我们人类天生就是多模态的。我们理解世界的方式就是通过整合各种感官信息。多模态对于人工智能的发展至关重要原因有三信息更完整单一模态往往只能描述事物的一部分。比如“苹果”文本告诉你它是一种水果图像告诉你它红红的圆圆的而多模态告诉你它是一种吃起来脆脆甜甜的红色圆形水果。理解更准确多模态信息可以互相补充和印证消除歧义。例子你说“我想到了”你的表情可能是兴奋的也可能是沮丧的。单从文本无法判断你的真实情绪。但如果结合你的面部表情图像模态和说话的语气音频模态人工智能就能更准确地判断你是在兴奋地发现新点子还是在懊恼地想起一件坏事。交互更自然我们与人交流时是语言、表情、手势并用的。要让机器与人自然交互它也必须能理解和运用多模态信息。3. 多模态的核心任务多模态能做什么主要有以下几类核心任务跨模态检索用一种模态的信息去检索另一种模态的内容。文搜图输入“一只在草地上奔跑的白色小狗”搜索出对应的图片。图搜文上传一张夕阳下的海滩照片找到描述它的文字或诗句。视觉问答 (VQA)给模型一张图片或一段视频然后向它提问它需要结合视觉信息和问题文本给出正确的文本回答。输入一张图片一个小女孩在玩红色的皮球 问题“皮球是什么颜色的”输出“红色”。图像/视频描述模型“看懂”图像或视频后自动用自然语言生成一段描述它的文字。输入一张图片一群人在海边看日出。输出“一群朋友坐在沙滩上共同见证太阳从海平面升起的壮丽时刻。”文本到图像/视频生成这是近年来最火的方向之一。模型根据一段文本描述凭空“画”出对应的图像或视频。输入Prompt“一只熊猫在弹吉他赛博朋克风格”输出一张符合描述的、栩栩如生的图片。多模态情感分析结合用户的文本、语音语调、面部表情综合判断其情感状态。4. 背后的关键技术多模态模型是如何工作的关键在于“对齐”和“融合”。模态编码首先需要用不同的神经网络编码器将不同模态的数据转化为计算机能理解的向量表示。文本 $\rightarrow$ BERT、GPT等图像 $\rightarrow$ ViT (Vision Transformer)、ResNet等音频 $\rightarrow$ 音频频谱图编码器等模态对齐这是最核心的一步。模型需要学习不同模态表示之间的对应关系。例子模型需要学习“文本中的‘小狗’这个词”与“图像中那个毛茸茸的四条腿动物”是对齐的。著名模型OpenAI 的CLIP模型就是通过海量的图文对进行训练让匹配的图文在向量空间中的距离更近不匹配的则更远从而实现了强大的图文对齐能力。模态融合将对齐后的多模态信息进行整合形成一个综合的表示用于完成下游任务。融合的方式可以是简单的拼接、加权求和也可以是更复杂的注意力机制。多模态总结框图总结多模态是人工智能从“感知”走向“认知”的必经之路。它不再让AI局限于单一的信息孤岛而是赋予其整合视觉、听觉、语言等多种信息的能力让AI更接近人类的感知和认知方式。未来我们身边的智能设备、自动驾驶汽车、医疗诊断系统等都将因为多模态技术而变得更加聪明、体贴和可靠。下次你再用语音助手或者看AI生成的图片时不妨想一想这背后可能就有着多模态技术的功劳哦