边缘设备：板载NPU vs M.2算力卡怎么选

核心本质：板载 NPU=SoC 一体化，算力固定、延迟低、省空间；M.2 算力卡 = PCIe 外挂协处理器，算力可扩展，但受 PCIe 带宽、散热、供电约束。

核心对比表

✅什么时候选【板载 NPU】

适合算力需求确定、小体积、多路视频分析、高稳定性、大批量量产场景。

1. 多路摄像头轻‑中度视觉推理：明厨亮灶、智慧工地安全帽检测，YOLOv5/v8，8 路以内视频流；

2. 设备空间受限：小 AI 盒子、机器人核心板、网关、嵌入式控制板；

3. 7×24 小时密闭无风扇工业部署，不想处理额外散热；

4. 量产项目，算力需求不会后期暴涨；

5. 需要视频硬编解码直接喂 NPU，减少数据拷贝，追求最低端到端延迟。

典型芯片：RK3588 (6TOPS)、RV1126B、算能 BM1684X、i.MX8M Plus。

✅什么时候选【M.2 算力卡扩展】

适合本地大模型、多模态、算力未来要升级、现有硬件算力不够不想换整机场景。

1. 边缘跑 LLM/VLM：Qwen‑3B/7B，RAG 本地知识库，需要独立片上显存，板载共享内存容易 OOM；

2. 多路高并发推理，板载 NPU 算力跑满；

3. 项目迭代：前期低算力，后期业务扩容，直接换 M.2 卡，主控底板不变；

4. 存量工控 / 边缘盒子改造升级 AI 能力；

5. 异构分工：SoC 做系统、视频解码、业务逻辑；M.2 卡专职做神经网络推理，互不抢占资源。

必须踩的坑：

1. 确认主板 M.2 是PCIe3.0×4，PCIe2.0×1 会严重卡 IO，算力跑不满；

2. 密闭机箱务必配散热垫片 / 散热片，满载极易过热降频，TOPS 参数是实验室理想值，现场会打折；

3. M.2 插槽供电能力，部分老主板 M.2 供电不足，高负载会掉卡；

4. 开发工作量上升：两套 SDK，数据流要做跨 PCIe 拷贝优化。

现实常用混合方案（很多项目这么干）

SoC 板载 NPU + M.2 算力卡共存

板载 NPU 跑轻量实时检测、预处理；

M.2 算力卡跑大模型、复杂多模态任务；

例：RK3588（6TOPS 板载 NPU）+ RK1828 / LQ50 Duo / HM50 M.2 算力卡，兼顾视频解码、实时检测 + 本地大模型推理。

快速选型决策口诀

1. 只做视频检测、路数不多、小盒子、量产稳定优先 → 板载 NPU 优先

2. 要跑本地大模型、算力未来要升级、老设备改造 → M.2 算力卡

3. 既要多路视频又要本地大模型 → 板载 NPU+M.2 算力卡异构方案

4. 选 M.2 算力卡先查三件事：PCIe 通道规格、机箱散热条件、M.2 插槽供电。

家具美容培训

家具维修培训