整理现在有哪些音频相关模型可以适用在车载平台，要求ARM版本的，包含模型大小，模型支持的功能，网站地址，适用的场景。
📅 本文信息采集于 2026年5月。AI 模型更新迭代较快，建议使用时验证最新版本。
📋 总览
| 模型 | 厂商 | 支持功能 | ARM适配 | 推荐场景 |
|---|---|---|---|---|
| Whisper | OpenAI | ASR / 语音识别 / 翻译 | ✅ PyTorch | 语音指令 / 导航 |
| sherpa-onnx | k2-fsa | ASR / TTS / VAD / 声纹 / 增强 | ✅✅ 最佳 | 全功能车载方案 |
| Silero VAD/TTS | Silero AI | VAD / TTS | ✅ 轻量 | 打断唤醒 / 播报 |
| Coqui TTS | Coqui | TTS / 声音克隆 | ✅ PyTorch | 个性化语音播报 |
| ESPnet | ESPnet社区 | ASR / TTS / 翻译 / 增强 | ✅ PyTorch | 科研 / 多语种 |
1. Whisper（OpenAI）
GitHub: https://github.com/openai/whisper
官网: https://openai.com/index/whisper/
模型规格：
| 模型 | 参数量 | 内存需求 | 相对速度 |
|---|---|---|---|
| tiny | 39M | ~1GB | 10x |
| base | 74M | ~1GB | 7x |
| small | 244M | ~2GB | 4x |
| medium | 769M | ~5GB | 2x |
| large | 1550M | ~10GB | 1x |
| turbo | 809M | ~6GB | 8x |
支持功能： 多语言语音识别、语音翻译、语言检测、语音活动检测（VAD）
ARM适用性： 通过 PyTorch 可以在 ARM Linux 编译运行，推荐用 tiny 或 base 在车载边缘端实时推理
车载场景： 语音指令识别、导航地点输入、电话拨打指令
2. sherpa-onnx（强烈推荐 🚗）
GitHub: https://github.com/k2-fsa/sherpa-onnx
文档: https://k2-fsa.github.io/sherpa/onnx/
核心亮点：
- 支持 x86_64 / arm64 / arm32 / RISC-V 全平台
- 支持 Raspberry Pi / RK3588 / Jetson Orin NX / 旭日X3派 等常见车载SOM
- 支持 RK NPU / Ascend NPU / Qualcomm NPU 硬件加速
- 提供 C++ / Python / Go / Java / C# / JavaScript 多语言API
- 可在 无网络 环境下完全离线运行
支持的功能：
| 功能 | 说明 |
|---|---|
| ASR 语音识别 | 流式 & 非流式均支持 |
| TTS 语音合成 | 多语言 |
| VAD 语音活动检测 | 基于 Silero-VAD |
| Speaker Diarization 声纹分割 | 多人对话分离 |
| Speaker Verification 声纹识别 | 司机身份验证 |
| Keyword Spotting 关键词唤醒 | 车载唤醒词 |
| 语音增强 Speech Enhancement | 降噪 |
预训练模型（部分）：
| 模型 | 大小 | 说明 |
|---|---|---|
| SenseVoice (Whisper-based) | ~800MB | 中文识别效果好 |
| Paraformer ASR | ~200MB | 轻量中文识别 |
| Silero VAD | ~5MB | 极轻量语音活动检测 |
| Campplus 声纹 | ~30MB | 说话人验证 |
车载场景： 一站式方案——唤醒词检测 → ASR → TTS 播报 → 声纹验证司机身份 → 降噪处理
3. Silero Models
GitHub: https://github.com/snakers4/silero-models
官网: https://silero.ai/
模型规格：
| 模型 | 参数量 | 内存占用 |
|---|---|---|
| Silero VAD | ~5MB | < 50MB |
| Silero TTS (V5) | ~50MB | ~200MB |
支持功能： TTS 语音合成（多语言）、VAD 语音活动检测、自动重音标注（俄语）
支持语言： 英语、中文、俄语、印地语等 100+ 语言
车载场景： 车载语音助手播报、导航TTS、简短应答
4. Coqui TTS（🐸TTS）
GitHub: https://github.com/coqui-ai/TTS
文档: https://tts.readthedocs.io/
主要模型： Tacotron2 / Glow-TTS / FastSpeech2 / VITS / YourTTS / X-TTS
支持功能： 文本转语音、声音克隆（Reference Cloning）、多说话人TTS
车载场景： 个性化语音包（如明星声音导航）、TTS 播报、定制化车载助手声音
5. ESPnet
GitHub: https://github.com/espnet/espnet
论文: https://arxiv.org/abs/2005.03018
支持功能： ASR / TTS / 语音翻译 / 语音增强 / 说话人识别 / 声纹分割
车载场景： 科研级多语种语音识别、车载娱乐系统语音控制
🚗 车载推荐组合
| 场景 | 推荐方案 | 说明 |
|---|---|---|
| 基础语音指令 | Whisper tiny + Silero VAD | 最低成本方案 |
| 全功能车载助手 | sherpa-onnx 全家桶 | 一站式覆盖所有音频功能 |
| 高端个性化 | Whisper small + Coqui TTS | 支持声音克隆 |
| 多语言出行 | ESPnet + sherpa-onnx | 覆盖多语言及方言 |
⚠️ 选型注意事项
- 内存约束： 车载ARM芯片通常有 4-8GB RAM，建议优先选
tiny/baseWhisper 或 sherpa-onnx 的轻量模型 - 实时性要求： 车载语音交互延迟需 < 500ms，Silero VAD + 流式 ASR 是最佳实践
- 离线优先： 车载必须支持完全离线，sherpa-onnx 完全满足
- NPU加速： RK3588/Ascend NPU 建议用 sherpa-onnx 的 NPU 量化模型，可提升 3-5x 推理速度
适用平台对照表
| 芯片平台 | 规格 | 推荐音频模型 |
|---|---|---|
| Qualcomm QCM8155 | 8核Kryo + Hexagon DSP | Whisper tiny/base, sherpa-onnx全系 |
| Qualcomm QCM8295 | 第四代座舱平台，6nm，AI算力↑30% | Whisper small/medium, sherpa-onnx+NPU加速 |
| Qualcomm QCM8255 | 中端座舱SoC | Whisper tiny/base, Silero VAD/TTS |
| Qualcomm QCM8775 | 高端旗舰，8核Kryo + AI Engine | Whisper全系列, sherpa-onnx+NPU量化模型 |
| Qualcomm QCM8397 | 旗舰级座舱 | Whisper全系列, sherpa-onnx全系 |
| Qualcomm QCM8797 | 顶级旗舰，5nm工艺 | Whisper全系列, sherpa-onnx+NPU加速 |
| MediaTek MT8665/MT8675 | 联发科座舱SoC | Whisper tiny/base, Silero VAD/TTS, sherpa-onnx |
| MediaTek MT8195 | 平板电脑/智能座舱 | Whisper base/small, sherpa-onnx |
总结： 车载音频AI模型的选择应根据具体芯片平台的算力和内存进行适配。sherpa-onnx是目前最适合车载场景的端到端解决方案，支持主流高通车规级芯片和联发科平台。