深色模式
多模态模型架构总览
摘要：本文面向需要在生产环境引入多模态能力（图文理解、文档解析、语音转录、语音合成）的 SRE / 平台工程师与算法工程负责人。我们提炼出当前开源多模态模型的两类主流架构范式——「视觉语言模型（VLM）」与「语音多模态链路（ASR + TTS）」——并给出统一的组件拆解、选型对照表、落地成本与安全合规红线。覆盖模型：LLaVA 系列、Qwen-VL / Qwen2-VL / Qwen2.5-VL、OpenAI Whisper、pyannote、CosyVoice 2。版本与结论均经官方文档与论文交叉验证；本文未实测命令输出，运行结果以
[未实测]标注。
适用场景与前提
- 已具备 GPU 推理基础设施（单卡 ≥16GB 显存起步，参考下文「成本/性能」）。
- 熟悉 Hugging Face
transformers与vLLM基本用法（见 vlm.md、speech.md）。 - 本文聚焦架构认知与选型，具体部署步骤在姊妹篇展开。
架构范式不等同于能力上限
本文给出的是「组件拆解」与「工业界主流做法」。同一个架构（如 CLIP-ViT + MLP + LLM）在不同训练数据、分辨率策略、后训练对齐下，能力差异可达数倍。架构图只说明数据怎么流，不保证具体 Benchmark。任何 Benchmark 数字均须回到原始模型卡与论文核对，本文引用处已标注来源。
核心概念：两类多模态范式
多模态模型按「输入/输出模态组合」可粗略分为：
- 视觉语言模型（VLM，Vision-Language Model）：输入图像/视频 + 文本，输出文本。代表：LLaVA、Qwen-VL、Qwen2-VL、InternVL、MiniCPM-V。
- 语音多模态链路：通常拆成 ASR（语音→文本）+ TTS（文本→语音） 两个独立模型，外加可选的说话人分离（Speaker Diarization）。代表：Whisper（ASR）、pyannote（Diarization）、CosyVoice 2（TTS）。
这两类在架构上有本质区别：VLM 是「单一端到端模型」，而语音链路是「多个专用模型串联的流水线」。
范式 A 解剖：VLM 的三个组件
VLM 工程上几乎都采用「预训练视觉编码器 + 轻量连接器 + 预训练 LLM」的三段式，三者均可独立替换：
| 组件 | 作用 | 常见实现 | 训练时是否更新 |
|---|---|---|---|
| 视觉编码器 Vision Encoder | 把图像切成 patch 特征 | CLIP ViT-L/14、SigLIP、Qwen2-VL 自研 ViT | 通常冻结，或只对后几层微调 |
| 连接器 Connector | 把视觉特征投影到 LLM 词嵌入空间 | 2层 MLP（MLP2xGELU）、Q-Former、Patch Merger | 必须训练（对齐的关键） |
| 语言模型 LLM | 融合图文做自回归生成 | Vicuna、Qwen2/2.5、Llama-3、InternLM | 指令微调时更新 |
关键设计一：连接器（Connector）的路线之争
2023–2025 年的实践已经基本收敛：MLP 投影器胜出。
- MLP（LLaVA-1.5、Qwen2-VL、InternVL 2.5、LLaVA-OneVision 采用）：最简单，直接把每个视觉 patch token 映射到 LLM 维度，全部 token 都喂给 LLM；训练简单、scaling 性质好，但视觉 token 数量多（LLaVA-1.5 固定 576 个）。
- Q-Former（BLIP-2 / InstructBLIP）：用 32 个可学习 query 通过 cross-attention 压缩视觉信息，token 少但训练复杂。
- Patch Merger / Resampler（Qwen2.5-VL、Flamingo）：把相邻 2×2 patch 合并、或用 Perceiver 风格压缩，兼顾 token 数与效果。
选型建议（工程视角）
- 要最低改造成本 + 最稳效果：选 MLP 系（LLaVA-1.5 / Qwen2-VL）。
- 受上下文长度 / 显存限制、图像分辨率很高：选带 token 压缩的 Patch Merger（Qwen2.5-VL 自研 merger 把 2×2 patch 压成 1 个 token）。
- 不要盲目追 Q-Former：公开结论显示其在同等投入下已被 MLP 反超。
关键设计二：分辨率处理（AnyRes / 动态分辨率）
固定把图像 resize 到 224/336 会丢失细节。主流解法：
- LLaVA-NeXT（LLaVA-1.6）AnyRes：把高分辨率图切分为多个 336px 子图，拼接成变长 token 序列，支持任意长宽比。
- Qwen2-VL 原生动态分辨率：图像按原始比例编码，映射为动态数量的视觉 token，最少仅 4 个 token（小图），大图自动增多。
范式 B 解剖：语音链路
语音链路不是单模型，而是多阶段流水线，每一段都可独立替换与独立扩缩容。
| 阶段 | 任务 | 代表模型 | 关键约束 |
|---|---|---|---|
| 1 | ASR 语音识别 | OpenAI Whisper（large-v3 / turbo） | 16kHz 单声道、30s 分窗、不原生区分说话人 |
| 2 | 说话人分离（可选） | pyannote/speaker-diarization-3.1 | 需接受 HF 模型许可、16kHz 单声道、输出 RTTM |
| 3 | 文本后处理 / LLM | 任意文本模型 | 把带时间戳与说话人的文本接入业务 |
| 4 | TTS 语音合成 | CosyVoice 2 | 流式首包延迟约 150ms、支持零样本音色克隆 |
Whisper 架构要点（来源：OpenAI 论文 arXiv:2212.04356 + 模型卡）
Whisper 是 encoder-decoder Transformer：音频先转 log-Mel 频谱（v1–v2 为 80 mel bins，large-v3 增至 128），以 30 秒为窗编码，decoder 自回归生成文本。同一模型通过特殊 token 支持「同名语言转录 / 翻译为英语 / 语言识别 / 时间戳预测」多任务。它不原生做说话人分离，需要 pyannote 等下游流水线补齐。
生产选型对照表
| 需求 | 推荐模型（版本） | 最低显存 | 备注 |
|---|---|---|---|
| 轻量图文问答（边缘/单卡） | LLaVA-1.5-7B / Qwen2-VL-2B | 4–10GB | 2B 可在 4GB 单卡跑 |
| 强文档/表格/OCR 理解 | Qwen2-VL-7B / Qwen2.5-VL-7B | 16GB | 动态分辨率对文档友好 |
| 强多图/视频理解 | Qwen2-VL-72B / Qwen2.5-VL-72B | 138GB+（多卡） | 需 tensor parallel |
| 通用语音转录（多语言） | Whisper large-v3 | ~10GB | MIT 许可，开源可自部署 |
| 低延迟转录 | Whisper large-v3-turbo | ~6GB | decoder 仅 4 层，不支援翻译任务 |
| 说话人分离 | pyannote/speaker-diarization-3.1 | ~2GB（可 CPU） | 需接受 HF 许可 |
| 中文语音合成/克隆 | CosyVoice 2 | 数 GB（按 backbone） | FSQ tokenizer，流式首包 ~150ms |
许可与合规红线（务必先看）
- Whisper：MIT 许可，可商用自部署。
- pyannote/speaker-diarization-3.1：pipeline 本身 MIT，但权重需在 Hugging Face 上分别接受
pyannote/segmentation-3.0与pyannote/speaker-diarization-3.1用户协议才能下载，且在生产使用上有约定（官方 README 提示可考虑其商业版 pyannote.ai）。部署前请法务确认。 - CosyVoice 2：开源权重通常带社区许可，商用前需核对仓库 LICENSE 与声明。
- Qwen 系列：Qwen2-VL 以 Apache 2.0 开源；Qwen2.5-VL 同理，但需遵守模型许可与「禁止用于不当用途」条款。
- 涉及真人语音克隆（TTS 零样本音色）与说话人分离时，触发个人信息/生物特征数据合规（见下方「安全与合规」）。
验证与评估思路
bash
# 验证 GPU 与基础库（未实测，按环境调整）
nvidia-smi --query-gpu=name,memory.total,memory.used --format=csv
python -c "import torch; print(torch.__version__, torch.cuda.is_available())"
# 验证 Hugging Face 登录态（pyannote 等需授权的模型依赖）
huggingface-cli whoami1
2
3
4
5
6
2
3
4
5
6
不要只看「单次 demo 好看」
生产评估必须覆盖：长音频/大图、低质量输入（噪声、模糊、口音）、并发与尾延迟、以及失败模式（Whisper 静音段幻觉、VLM 计数/3D 空间弱）。本文所有 Benchmark 数字（如 Whisper LibriSpeech test-clean ~2.7% WER、Open ASR 均值 ~7.44% WER）来自公开模型卡与 HF Open ASR Leaderboard，属「基准上限」而非真实分布，详见 speech.md 引用来源。
回滚与清理
模型服务的灰度与回滚
- 多模态服务建议以独立推理服务（如 vLLM OpenAI-compatible server）对外暴露，前端通过模型名路由，便于新旧版本并行与快速切回。
- 权重与缓存占磁盘较大（如 pyannote 约 2GB、Qwen2-VL-7B 约 15GB），清理前确认无在线请求：
huggingface-cli delete-cache或手动删除~/.cache/huggingface对应目录。 - 回滚时保留旧版本权重与启动脚本，避免「删了才发现新版本在长尾输入上崩」。
故障排查（高频）
- VLM 报
KeyError: 'qwen2_vl'：transformers 版本过旧。需安装包含 Qwen2-VL 支持的较新版本（具体 commit/版本号见 vlm.md 并标注[版本相关]）。 - pyannote 报 401 Unauthorized：HF token 未授权或未接受两个模型许可协议，或刚接受协议后未等待几分钟缓存生效。
- Whisper 静音段输出大段乱码：模型幻觉，需在后处理加 VAD（如 pyannote VAD 或 Silero）过滤无语音段。
- 显存 OOM：降低
--tensor-parallel-size反向不可行（模型放不下），应改用更小模型或开启量化（AWQ/GPTQ/int8）。
安全与合规
数据泄露是最大风险
多模态模型常处理敏感图像（合同、病历、ID）与敏感语音（会议、通话）。务必：
- 数据不出域：自部署，不把敏感数据发往第三方 API（除非已签 DPA 且走合规通道）。
- 传输加密：推理服务只暴露在内网/TLS 之后，禁止公网裸奔；vLLM 默认监听
localhost:8000，生产需反向代理 + 鉴权。 - 日志脱敏：禁止把原始图像 base64、原始音频落盘到明文日志；prompt 中可能含 PII。
- 生物特征合规：说话人分离与音色克隆涉及声纹（部分司法辖区视为生物识别信息），需告知并取得同意、最小化留存。
- 合成内容标识：TTS 生成的语音应打标/可溯源，防范深度伪造滥用。
成本 / 性能
- VLM 显存：Qwen2-VL-2B ~4GB、7B ~16GB、72B ~138GB+（需 2–4 卡 tensor parallel）；LLaVA-1.5-7B ~10GB。开启 bfloat16 约省 25% 显存。
- ASR 显存：Whisper medium ~5GB、large-v3 ~10GB、turbo ~6GB；可纯 CPU 但吞吐低。
- 吞吐：vLLM 下 LLaVA-1.5-7B 约 150–200 tokens/s，Qwen2-VL-7B 约 120–180 tokens/s（数值来自社区部署经验，
[未实测]，以实际压测为准）。 - 音频预处理成本：Whisper 以 30s 窗串行处理，长音频建议分片 + 批处理；pyannote 默认 CPU，可
.to(cuda)加速。 - 量化取舍：4-bit AWQ/GPTQ 显著降低显存，但文档/OCR 这类精细任务可能掉点，需 A/B 验证。
参考资料
- LLaVA 官方项目主页
- Liu et al., Visual Instruction Tuning (NeurIPS 2023), arXiv:2304.08485
- Qwen2-VL 官方博客
- Qwen2-VL-2B-Instruct 模型卡（ModelScope）
- Qwen2.5-VL 技术博客（注：Qwen2.5-VL 架构细节含 Conv3d patch_embed 与 window attention，
[版本相关]，以官方为准）。 - OpenAI Whisper 论文 Robust Speech Recognition via Large-Scale Weak Supervision, arXiv:2212.04356
- pyannote/speaker-diarization-3.1 官方 README
- CosyVoice 2 项目主页与论文（论文 arXiv:2412.10117）。
- vLLM 多模态模型文档