端侧 AI · 17 天工程路线
目录首页 English
DAY 17

多模态大模型

从文字、图片、声音和视频走向统一的混合内容理解

建议阅读:约 20 分钟

学习目标

解释不同模态如何表示、训练和输入模型,追踪混合文字、图片、声音与视频时的一次推理,并比较文本回答、语音输出、实时性和可靠性边界。

本章关键词

关键词解释ESP32 工程类比
模态编码器把图片、音频等信号转为可供后续网络处理的表示。像不同传感器各自的前端与驱动。
跨模态对齐让不同模态中对应的信息能够在模型中关联或共同使用。像为不同接口定义共同的数据契约。
融合模型组合文字与其他模态表示以完成任务的方式,可能发生在不同网络位置。像把多路传感器数据送入融合任务,而非简单拼接原始电平。
时间对齐保留并关联视频帧、音频片段和文字对应的时间。像用统一时钟关联摄像头帧与麦克风采样。

承上:回顾与定位

前十六章从神经网络走到语言模型及部署。本章把输入从文字扩展到图像、声音和视频,并把已有的 Transformer、prefill、decode 与资源账本用于混合内容。

从源头看今天

历史发展脉络

多模态模型建立在视觉表示、语音识别、跨模态对齐和生成模型等多条研究线上。以下节点呈现不同输入怎样逐步进入共享任务,而不是暗示所有模型都使用相同结构。

2014

图像描述连接视觉特征与语言生成

Show and Tell 使用图像编码与语言生成来描述画面,展示视觉到文字的早期端到端路径。

Show and Tell 原始论文 ↗
2020

视觉 Transformer 把图像块作为序列

ViT 将图像切成 patch 并使用 Transformer 处理,展示图像也可形成带空间信息的序列表示。

ViT 原始论文 ↗
2021

CLIP 用配对文字监督视觉表示

CLIP 通过图文对比目标学习对应关系,让文字描述可用于图像识别和检索。

CLIP 原始论文 ↗
2022

Whisper 扩展音频与文字监督

Whisper 利用大规模音频与文字配对训练语音识别,展示语音到文本与不同语音任务的序列建模。

Whisper 原始论文 ↗
2023

视觉指令微调连接图像与对话

LLaVA 连接视觉编码器与语言模型,并使用视觉指令数据训练图文对话能力。

LLaVA 原始论文 ↗
2024

时间对齐进入长视频多模态架构

Mirasol3B 将时间同步的音画和上下文模态区别建模,说明视频中的时间关系与融合位置需要明确设计。

Mirasol3B 原始论文 ↗
今天为什么仍然重要: 这些研究分别处理表示、对齐、语音或时间融合。实际产品需要查清支持的模态和输入协议,再用目标数据评估,不能把某篇论文的架构推广为所有系统的实现。
借熟悉的系统建立直觉

类比图解

多路证据进入指挥室

指挥室同时收到文字报告、现场照片、带声音的监控视频。接入员为每个来源保留位置、先后顺序与时间,协调员才能回答‘警报响起时设备灯是什么状态’。如果只抄录了对白,就不能声称已经听过警报;如果摄像头只每隔数秒截图,也可能漏掉灯闪烁。

文字报告 tokenizer 与文字上下文
现场照片 图像预处理与视觉特征
监控声音 音频编码或带损失的语音转写
统一事件时间线 视频帧、音频片段与时间对齐

类比的边界: 模型不是有意识的指挥员,也不保证每路信息都被准确理解;不同架构融合表示的方式不同,时间戳和引用仍需外部核验。

本章讲解

四种输入,四种信息结构

文字先按模型的 tokenizer 变为 token id,再经 embedding 得到向量;文字顺序通常是一维的。图片包含二维空间与颜色,常先缩放、归一化,再切为 patch,交给视觉编码器提取局部和全局特征;高分辨率或多裁剪通常增加视觉表示数量和计算量。声音是随时间变化的波形,可以先重采样、分帧并转换为频谱,再由音频编码器处理;有些模型使用学习得到的离散音频码。视频则是带时间关系的画面序列,可能伴随独立音轨;抽帧、时间戳和音画同步都决定模型实际收到什么。输入向量不一定是文字词表里的 token,也不是先把图片翻译成一句话。

先学表示,再学跨模态对应

文字语言模型常用下一个 token 预测,从文字序列中学习表达和上下文。视觉编码器可通过图像任务或图文配对学习特征:例如 CLIP 对比匹配的图片与文字,并区分不匹配的组合;这种对齐使相似内容在表示空间更接近,但 CLIP 自身不是完整的对话生成器。语音训练可用音频和转写配对学习识别,也可用自监督方法从未标注音频学习表示。视频训练可以使用画面、音轨、字幕和时间标注,帮助模型关联动作、声音与发生顺序;字幕有偏差、错位或缺失时,监督也会受影响。每种数据的采样频率、标注成本、噪声和隐私要求都不同。

连接语言模型:对齐、指令与联合训练

一种常见架构先分别预训练视觉或音频编码器和语言模型,再训练投影器或适配器,把编码器输出映射到语言模型可使用的向量空间;LLaVA 展示了视觉编码器、投影器和语言模型连接的一条路线。随后使用图片或音频加问题和答案进行多模态指令微调,训练模型按证据回答;有时先冻结部分组件再解冻,也有端到端联合训练或交叉注意力等不同设计。自回归答案损失通常只作用于指定的目标输出位置,具体掩码依训练方案而定。对齐解决表示能否配合,指令训练改善任务行为,两者都不保证准确识别或可靠推理。

一次混合输入推理,跟踪每一份证据

假设用户提交一张设备照片、一段带声音的视频,并问‘照片里的红灯亮时,视频里说了什么?’系统首先检查文件、解码媒体,并保留图片顺序、视频抽样帧的时间戳以及音轨时间范围。文字经 tokenizer;照片和视频帧经视觉编码,音轨经音频编码或另行转写;再按模型协议放入上下文,附上模态标记、位置和可用的时间信息。融合可以把视觉和音频向量与文字序列拼接,也可以通过交叉注意力或分阶段模型连接;并非所有系统都支持四种原生输入。模型在 prefill 阶段处理上下文,在 decode 阶段根据已有上下文逐步生成文字;回答依赖真实输入、采样和模型能力,不代表它一定正确定位红灯或识别对白。

声音和视频:时间不是可有可无的标签

语音识别把声音转换成文字很方便,却可能丢掉说话人的语调、重叠语音、音乐和警报等非语言证据,也可能听错或编造片段。原生音频输入可以保留更多声学线索,但仍受编码方式和训练限制。视频抽帧越稀疏,越容易漏掉短暂变化;帧顺序错误或时间戳错位会改变‘之前’与‘之后’的含义。音画同步需要一致的时间基准,并标明转写对应的时间段。流式系统还要处理分块边界、缓冲延迟和迟到的帧,不能假装尚未到达的内容已经可见;离线模型则可以在回答前处理完整片段。

输出与资源:文字、语音和实时交互

文本回答通常逐 token 生成,并可以复用 KV cache;生成语音则可能先产生文字,再交给独立的语音合成系统,也可能由多模态模型直接预测音频码并通过解码器还原波形。前者的中间文字容易检查,但声学细节可能丢失;后者支持的声音、延迟和可控性取决于具体模型。实时对话需要持续接收音频、端点检测、分块生成、打断和资源回收。多张高分辨率图片、长音频和大量视频帧会增加编码计算与上下文占用,也可能推高首字延迟、缓存、内存与能耗;不同模型压缩方式不同,不能用固定的‘每张图等于多少 token’一概而论。

用反例与可追溯证据验收

评估应覆盖小字、遮挡、弱光、口音、噪声、说话人重叠、短动作及音画错位,并分别测试只给文字、只给图片或声音、以及混合输入。记录模型版本、预处理、采样策略、实际提供的模态、首字时间和峰值内存,才知道性能和正确率为何变化。要求回答引用可核对的帧时间或原始音频片段,但时间引用本身也必须复核;模型可能凭语言先验猜测不存在的细节。缺失证据时应明确说不确定,涉及设备控制时还需确定性权限、范围和安全联锁,不能把生成内容直接作为执行命令。

让数据真正跑起来

动态过程演示

一次图文音视频混合问答

跟踪每一路数据的来源、时间和编码,再观察它们如何进入上下文并生成回答;具体融合机制因模型而异。

步骤 1 / 6

接收请求 · text + image + audio + video

检查输入能力、文件和顺序

观察点

系统可能并不支持所有原生模态

循环 / 返回条件: 自回归文字生成在最后一步重复直到结束;流式系统还会持续接收新片段并处理打断,具体缓存和同步策略取决于实现。

查看静态全景图
文字 → tokenizer → 文本向量 ───────────┐
图片 → 切块/视觉编码 → 视觉向量 ───────┤
声音 → 分帧/音频编码 → 音频向量 ───────┼→ 融合与上下文 → 推理 → 文本 / 语音
视频 → 采样帧 + 音轨 + 时间戳 → 编码 ──┘

代码或命令示例

# 示意流程;具体接口、融合位置和输出能力因模型而异
parts = [encode_text(question), encode_image(photo),
         encode_audio(audio), encode_video_frames(video, timestamps=True)]
context = assemble_with_order_and_timestamps(parts)
state = multimodal_model.prefill(context)
while not finished:
    token, state = multimodal_model.decode(state)
    emit(token)  # 文本输出;语音输出还需要相应的音频生成/解码路径

动手实验

选一个有画面、对白和环境声的短视频,提出‘警报响起前后发生了什么?’先分别记录文字转写、抽样帧、音频片段及时间戳,再画出它们如何进入模型。比较仅文字、文字加帧、文字加帧与音频三种输入:记录回答、缺失证据、错误和推理耗时。改变抽帧间隔,检查短暂事件是否消失;确认模型实际支持原生音频,不能把转写冒充听到了环境声。最后列出隐私许可、分辨率、音频时长和峰值内存的预算。
实验记录与导出

工程陷阱

避免误判: 把所有多模态模型都当成先把图片和声音转成文字的流水线;或者假设视频每一帧与所有声音都被模型看见。实际输入能力、采样和融合方式由模型及系统决定,时间对齐与缺失证据必须核查。

核心测试

完成 3 道单选题后提交;提交前不会显示答案。

1. 一条常见的图像与语言模型连接路径是什么?
2. 为什么视频问答要保留抽样时间戳和音画同步信息?
3. 关于混合模态推理与训练,哪项描述最准确?

一起把本章讲清楚

在 GitHub 上讨论本章

登录 GitHub 后提问、补充实测或分享你的实现;评论会保存在本课程的 GitHub Discussions 中。

评论区需要 JavaScript;也可以直接打开 GitHub 讨论区: 打开 GitHub 讨论区 ↗

延伸阅读

启下:下一章如何使用本章能力

课程完成后,选取一个真实场景,以可追溯的音画证据、模态消融、错误样本和端侧资源预算设计验收。