图1 多模态大模型通用框架在通用的MM-LLMMulti-Modality LLM框架里,共有五个模型。模态编码器Modality Encoder将多模态的数据编码成向量空间特征该模块通常是单独进行预训练的典型的方法有基于CNN的ResNet基于Transformer的ViT等。输入投影层Input Projector将模态编码器的输出映射到LLM的输入特征空间的适配层一般模型结构比较简单不同的多模态模型一般是随机初始化该模块的参数做冷启训练。典型的网络层MLPCross-Attention等LLM主干网络LLM BackboneLLM是经过预训练的模型一般还要串联多个模块继续做Post-Pretrain和微调使得模型能识别多模态的特殊token和多模态的特征输入。输出投影层Output Projector将LLM生成的数据映射成Modality Generator 可理解的特征空间一般是简单的Transformer层或MLP层。模态生成器Modality Generator多模态的生成器最终输出多模态的结果如图像、语音、视频等。模型基本都是基于LDMLatent Diffusion Models的衍生模型如图片领域的Stable Diffusion方法。在多模态场景通常包括两类任务理解任务 和 生成任务。对应的模型分别是多模态理解模型和多模态生成模型多模态理解模型:主要包括前三个模块模态编码器输入投影层LLM主干网络即模型接受多模态数据输入以文本形式输出。多模态生成模型包括全部5个模块即多模态数据输入多模态数据输出。多模态生成模型通常要更复杂也能难建模参考论文链接https://arxiv.org/abs/2401.13601