1. 方案核心价值
传统 RK3588 项目痛点:原生 NPU 仅 6TOPS INT8,多路视觉、7B/13B 大模型、VLM、工业质检、智慧工地/明厨亮灶多通道推理场景算力不足;一旦定型后改底板、重画 PCB、重新做 EMC 与整机认证,周期长、成本高、存量设备无法升级。
本方案核心思路:复用底板已有的 M.2 Key M PCIe 插槽(原生 RC 主机模式),不改动底板 PCB、结构、供电布局,即插式外挂 M.2 形态 AI 算力协卡;RK3588 主控负责系统调度、ISP 图像采集、视频编解码、外设 IO,推理负载卸载到外接算力卡,异构并行,存量设备可后期升级算力。

前提条件:底板 M.2 槽位走 RK3588 PCIe 通道(PCIe3.0 x4 / PCIe2.1 x4,非 SATA 复用)、DTS 预留 PCIe RC 配置、供电电流满足算力卡峰值功耗。
2. RK3588 PCIe 资源与链路说明
RK3588 PCIe 控制器支持 RC(根复合体,Host 主机)/ EP(端点)双模式,可配置拆分:1×4L、2×2L、4×1L。
PCIe3.0 x4:8GT/s,单向带宽约 4GB/s,优先给高带宽算力卡(LQ50、大显存卡,适合 LLM/VLM)。
PCIe2.1 x4:5Gbps,单向约 2.5GB/s,RK1828、Hailo-8、DX-M1、BM1684X 这类视觉推理卡足够使用,也是存量底板最常见配置。
注意坑:很多 RK3588 底板 M.2 是 PCIe/SATA 复用 PHY,设备树里切到 SATA 模式就无法识别 PCIe 算力卡,只需要修改 DTS,不需要改硬件走线。
3. 主流兼容 M.2 算力卡选型对比(M-Key 2280)
算力卡 | INT8 算力 | 片上显存 | PCIe | 典型功耗 | 适合场景 |
20TOPS | 5GB DRAM | PCIe2.1 | 约 7W | 7B 大模型、多路视频结构化,和 RKNN 生态兼容,国产同平台适配最好 | |
160TOPS | 48GB LPDDR5 | PCIe3.0 | 约 25W | 13B~34B 大模型、VLM、Agent 本地推理,高带宽需求 | |
DeepX DX-M1M | 25TOPS | - | PCIe3.0 | 约 8W | 工业缺陷检测、YOLO 系列、高速视觉推理 |
Hailo-8 | 26TOPS | - | PCIe3.0 x4 | 2.5W | 低功耗多路视觉、边缘网关,CNN 模型优化好 |
17.6TOPS | 16GB | PCIe2.1 | 约 10W | 国产化、视频编解码+推理一体化,信创项目 |
扩容示例:RK3588(6TOPS)+ RK1828(20TOPS),综合算力 26TOPS;双 M.2 插槽可双卡扩展,最高到 46TOPS。
4. 硬件层面:底板不改版,只做核查,无需改 PCB
不需要重新画板、改结构、开模,只需要 4 项核查:
1. M.2 Key M 插槽定义:确认是 PCIe 信号,不是纯 SATA;2280 规格,有 3.3V 主供电,供电回路能提供 3A+ 峰值电流(高功耗 LQ50 需要额外评估供电,部分底板需要简单飞线补强供电,不用改底板 PCB)。
2. 复位、CLK 参考时钟:M.2 插槽的 PERST# 复位、100MHz 参考时钟布线正常,RK3588 PCIe RC 时钟配置匹配。
3. 散热空间:外壳结构预留 M.2 卡散热间隙;高功耗卡(LQ50)可加装 M.2 散热马甲。
4. EMC:原有底板已经过认证,外挂模块只需要单独做模块级辐射测试,整机不需要重新过认证,这是工业项目最大优势。
若底板原本 M.2 是 NVMe 固态盘位:直接固态和算力卡二选一;想要同时 SSD+算力卡,可加一片 M.2 PCIe Switch 子卡(贴在原有 M.2 插槽上,仍然不改底板),一分二扩展固态+算力卡。
5. 软件适配流程(核心工作量,硬件零改动)
5.1 设备树 DTS 修改(不碰硬件)
启用 PCIe RC 模式,关闭 SATA 复用,配置供电 regulator、复位引脚:
确认 pcie3x4 或者 pcie2x4 节点 status = "okay"。
关闭同 PHY 下 SATA 节点,避免冲突。
配置 M.2 插槽的 3.3V 电源、PERST 复位控制。
存量老底板 SDK 只要 DTS 补丁,不需要重新 Layout。
5.2 内核与驱动加载
RK1828:加载 rkep PCIe EP 驱动,SDK 自带补丁 CONFIG_PCIE_FUNC_RKEP=y,配套 RKNN Toolkit2 跨卡推理调度 API,可把模型拆分跑在 RK3588 本地 NPU + RK1828 协卡。
BM1684X / DX-M1 / Hailo:加载厂商独立内核 module + runtime 库,独立推理框架,和 RK3588 NPU 互相隔离。
两种调度模式:
分流:一部分模型跑 RK3588 NPU,大模型/多路任务下发算力卡。
全卸载:推理全部交给 M.2 算力卡,RK3588 只做采集、预处理、后处理、业务上报,CPU 占用极低。
5.3 推理部署与调度
异构调度:可以用 rknn_api、sophon_sdk、hailort 各自原生 API;上层封装统一推理服务(如 Triton、本地 HTTP 推理网关)。
模型:不需要二次重训,只需要按算力卡厂商工具链量化转换。
系统支持:Linux(主流)、Android(驱动适配工作量更大)。
6. 优势与边界风险(工程落地重点)
6.1 方案优势
底板不改版:存量硬件直接升级,项目后期算力迭代不用重新投板,缩短交付周期。
算力弹性:按需选卡,低预算先用 RK1828;后续大模型需求直接换 LQ50,硬件不变。
主控资源隔离:视频采集、编码不跟 NPU 推理抢资源,多路相机稳定性远高于单 SoC 硬扛。
国产化可选:RK1828、BM1684X 整条链路国产,适配信创、工业、安防项目。
6.2 局限与坑点
PCIe 带宽瓶颈:PCIe2.1 链路下超大 batch、大模型张量传输会有延时,LLM 优先选 PCIe3.0 x4 槽位。
供电上限:原有 M.2 3.3V 供电很多底板设计给 SSD(1~2A),LQ50 高功耗卡峰值电流大,供电不足会掉卡、死机,优先选低功耗卡或外部辅助供电。
生态割裂:不同厂商算力卡是独立 Runtime,不能直接混用 RKNN 和 Sophon 算子;上层需要适配多后端调度。
不能热插拔:嵌入式 M.2 PCIe RC 一般不支持热拔插,上电前插卡。
7. 典型落地场景
智慧工地、明厨亮灶:8~16 路摄像头,目标检测、烟火、安全帽识别,原生 6TOPS 不够,外挂 RK1828 扩容。
本地大模型盒子:RK3588 做主控+显示,LQ50 跑 7B~34B LLM/VLM,本地 Agent。
工业质检:高速流水线缺陷检测,DX-M1/Hailo 低延迟推理。
存量 RK3588 工控机升级:已经批量出货的设备,后期算法升级算力不够,返厂或者现场插卡升级。
8. 扩展进阶方案(仍然不改底板)
原有单 M.2 槽不够用:M.2 PCIe Switch 一分二子卡,直接插在原有 M.2 插槽上,扩展 2 路 M.2,同时上两张算力卡,实现双卡算力集群,适合多路并发推理。
9. 总结
这套方案本质是把 RK3588 的 M.2 NVMe 插槽复用成异构 AI 协处理器接口,利用 PCIe RC 主机能力外接 M.2 标准算力卡;底板 PCB、结构、外壳完全不动,只改 DTS+驱动+上层推理调度,是 RK3588 量产项目后期算力升级、存量设备算力改造性价比最高的路线。
需求留言: