多模态大模型
从文字、图片、声音和视频走向统一的混合内容理解
建议阅读:约 20 分钟
学习目标
本章关键词
| 关键词 | 解释 | ESP32 工程类比 |
|---|---|---|
| 模态编码器 | 把图片、音频等信号转为可供后续网络处理的表示。 | 像不同传感器各自的前端与驱动。 |
| 跨模态对齐 | 让不同模态中对应的信息能够在模型中关联或共同使用。 | 像为不同接口定义共同的数据契约。 |
| 融合 | 模型组合文字与其他模态表示以完成任务的方式,可能发生在不同网络位置。 | 像把多路传感器数据送入融合任务,而非简单拼接原始电平。 |
| 时间对齐 | 保留并关联视频帧、音频片段和文字对应的时间。 | 像用统一时钟关联摄像头帧与麦克风采样。 |
承上:回顾与定位
前十六章从神经网络走到语言模型及部署。本章把输入从文字扩展到图像、声音和视频,并把已有的 Transformer、prefill、decode 与资源账本用于混合内容。
历史发展脉络
多模态模型建立在视觉表示、语音识别、跨模态对齐和生成模型等多条研究线上。以下节点呈现不同输入怎样逐步进入共享任务,而不是暗示所有模型都使用相同结构。
类比图解
多路证据进入指挥室
指挥室同时收到文字报告、现场照片、带声音的监控视频。接入员为每个来源保留位置、先后顺序与时间,协调员才能回答‘警报响起时设备灯是什么状态’。如果只抄录了对白,就不能声称已经听过警报;如果摄像头只每隔数秒截图,也可能漏掉灯闪烁。
类比的边界: 模型不是有意识的指挥员,也不保证每路信息都被准确理解;不同架构融合表示的方式不同,时间戳和引用仍需外部核验。
本章讲解
四种输入,四种信息结构
文字先按模型的 tokenizer 变为 token id,再经 embedding 得到向量;文字顺序通常是一维的。图片包含二维空间与颜色,常先缩放、归一化,再切为 patch,交给视觉编码器提取局部和全局特征;高分辨率或多裁剪通常增加视觉表示数量和计算量。声音是随时间变化的波形,可以先重采样、分帧并转换为频谱,再由音频编码器处理;有些模型使用学习得到的离散音频码。视频则是带时间关系的画面序列,可能伴随独立音轨;抽帧、时间戳和音画同步都决定模型实际收到什么。输入向量不一定是文字词表里的 token,也不是先把图片翻译成一句话。
先学表示,再学跨模态对应
文字语言模型常用下一个 token 预测,从文字序列中学习表达和上下文。视觉编码器可通过图像任务或图文配对学习特征:例如 CLIP 对比匹配的图片与文字,并区分不匹配的组合;这种对齐使相似内容在表示空间更接近,但 CLIP 自身不是完整的对话生成器。语音训练可用音频和转写配对学习识别,也可用自监督方法从未标注音频学习表示。视频训练可以使用画面、音轨、字幕和时间标注,帮助模型关联动作、声音与发生顺序;字幕有偏差、错位或缺失时,监督也会受影响。每种数据的采样频率、标注成本、噪声和隐私要求都不同。
连接语言模型:对齐、指令与联合训练
一种常见架构先分别预训练视觉或音频编码器和语言模型,再训练投影器或适配器,把编码器输出映射到语言模型可使用的向量空间;LLaVA 展示了视觉编码器、投影器和语言模型连接的一条路线。随后使用图片或音频加问题和答案进行多模态指令微调,训练模型按证据回答;有时先冻结部分组件再解冻,也有端到端联合训练或交叉注意力等不同设计。自回归答案损失通常只作用于指定的目标输出位置,具体掩码依训练方案而定。对齐解决表示能否配合,指令训练改善任务行为,两者都不保证准确识别或可靠推理。
一次混合输入推理,跟踪每一份证据
假设用户提交一张设备照片、一段带声音的视频,并问‘照片里的红灯亮时,视频里说了什么?’系统首先检查文件、解码媒体,并保留图片顺序、视频抽样帧的时间戳以及音轨时间范围。文字经 tokenizer;照片和视频帧经视觉编码,音轨经音频编码或另行转写;再按模型协议放入上下文,附上模态标记、位置和可用的时间信息。融合可以把视觉和音频向量与文字序列拼接,也可以通过交叉注意力或分阶段模型连接;并非所有系统都支持四种原生输入。模型在 prefill 阶段处理上下文,在 decode 阶段根据已有上下文逐步生成文字;回答依赖真实输入、采样和模型能力,不代表它一定正确定位红灯或识别对白。
声音和视频:时间不是可有可无的标签
语音识别把声音转换成文字很方便,却可能丢掉说话人的语调、重叠语音、音乐和警报等非语言证据,也可能听错或编造片段。原生音频输入可以保留更多声学线索,但仍受编码方式和训练限制。视频抽帧越稀疏,越容易漏掉短暂变化;帧顺序错误或时间戳错位会改变‘之前’与‘之后’的含义。音画同步需要一致的时间基准,并标明转写对应的时间段。流式系统还要处理分块边界、缓冲延迟和迟到的帧,不能假装尚未到达的内容已经可见;离线模型则可以在回答前处理完整片段。
输出与资源:文字、语音和实时交互
文本回答通常逐 token 生成,并可以复用 KV cache;生成语音则可能先产生文字,再交给独立的语音合成系统,也可能由多模态模型直接预测音频码并通过解码器还原波形。前者的中间文字容易检查,但声学细节可能丢失;后者支持的声音、延迟和可控性取决于具体模型。实时对话需要持续接收音频、端点检测、分块生成、打断和资源回收。多张高分辨率图片、长音频和大量视频帧会增加编码计算与上下文占用,也可能推高首字延迟、缓存、内存与能耗;不同模型压缩方式不同,不能用固定的‘每张图等于多少 token’一概而论。
用反例与可追溯证据验收
评估应覆盖小字、遮挡、弱光、口音、噪声、说话人重叠、短动作及音画错位,并分别测试只给文字、只给图片或声音、以及混合输入。记录模型版本、预处理、采样策略、实际提供的模态、首字时间和峰值内存,才知道性能和正确率为何变化。要求回答引用可核对的帧时间或原始音频片段,但时间引用本身也必须复核;模型可能凭语言先验猜测不存在的细节。缺失证据时应明确说不确定,涉及设备控制时还需确定性权限、范围和安全联锁,不能把生成内容直接作为执行命令。
动态过程演示
一次图文音视频混合问答
跟踪每一路数据的来源、时间和编码,再观察它们如何进入上下文并生成回答;具体融合机制因模型而异。
接收请求 · text + image + audio + video
检查输入能力、文件和顺序
系统可能并不支持所有原生模态
循环 / 返回条件: 自回归文字生成在最后一步重复直到结束;流式系统还会持续接收新片段并处理打断,具体缓存和同步策略取决于实现。
查看静态全景图
文字 → tokenizer → 文本向量 ───────────┐ 图片 → 切块/视觉编码 → 视觉向量 ───────┤ 声音 → 分帧/音频编码 → 音频向量 ───────┼→ 融合与上下文 → 推理 → 文本 / 语音 视频 → 采样帧 + 音轨 + 时间戳 → 编码 ──┘
代码或命令示例
# 示意流程;具体接口、融合位置和输出能力因模型而异
parts = [encode_text(question), encode_image(photo),
encode_audio(audio), encode_video_frames(video, timestamps=True)]
context = assemble_with_order_and_timestamps(parts)
state = multimodal_model.prefill(context)
while not finished:
token, state = multimodal_model.decode(state)
emit(token) # 文本输出;语音输出还需要相应的音频生成/解码路径动手实验
实验记录与导出
工程陷阱
核心测试
完成 3 道单选题后提交;提交前不会显示答案。
在 GitHub 上讨论本章
登录 GitHub 后提问、补充实测或分享你的实现;评论会保存在本课程的 GitHub Discussions 中。
评论区需要 JavaScript;也可以直接打开 GitHub 讨论区: 打开 GitHub 讨论区 ↗
延伸阅读
启下:下一章如何使用本章能力
课程完成后,选取一个真实场景,以可追溯的音画证据、模态消融、错误样本和端侧资源预算设计验收。