瑞芯微RK3588 NPU：从 6 TOPS 理论峰值到实际性能拆解

RK3588 的 6 TOPS INT8 是 NPU 理论峰值算力，真实场景中普遍只能跑到 2–3 TOPS（利用率 30%–50%），瓶颈不在 MAC 算力本身，而在 内存墙、软件栈、调度、功耗温控、模型结构 五大因素。下面从架构、标称算力、真实瓶颈、实测表现、优化方向完整拆解。

一、RK3588 NPU 架构与 6 TOPS 到底是什么

1. 硬件架构：三核 NPU

瑞芯微第三代自研 NPU，3 个独立核（Core0/1/2）

单核 2 TOPS INT8，三核合计 6 TOPS INT8

支持：INT8 / INT16 / FP16 / INT4 混合精度

每核带独立计算单元 + 本地 SRAM + DMA，但 共享 DDR 带宽

2. 6 TOPS 的“理想条件”（真实部署几乎不存在）

6 TOPS 是这样算出来的：

全 INT8 密集计算（全是 Conv / Gemm）

无数据搬运、无等待、无空泡

无后处理（NMS、Resize、Clip 等）

无算子不兼容、无 CPU 回退

无带宽竞争、无功耗降频

现实：任何模型都做不到。

二、五大核心瓶颈：为什么跑不满 6 TOPS

1. 内存墙（最主要瓶颈）

RK3588 用 LPDDR4X 4266 Mt/s，理论峰值带宽 ~34 GB/s

NPU、CPU、GPU、VPU、ISP 完全共享 DDR

NPU 是“计算快、吃带宽猛”：

权重加载 + 特征图读写 = 大量随机/突发访存

大模型（LLaMA 7B、YOLOv8x、ViT）权重几十~几百 MB

特征图（尤其高分辨率）读写量巨大

结果：

NPU 经常在 等数据 → 空转 → 利用率暴跌

典型 CV 模型：NPU 利用率 30%–50%

LLM 推理：利用率常 < 40%，几乎全在等权重

2. 软件栈与算子支持（RKNN Toolkit）

部分算子 硬件不支持 / 支持不全：

动态 Shape、动态 Resize、复杂索引、部分 Transformer 算子

自定义 OP、复杂 NMS、ROI 等

不支持层 自动回退 CPU：

CPU 速度比 NPU 慢 10–100 倍

一两个层回退就会 拖慢整个 pipeline

量化损失：

PTQ 量化误差导致部分层精度不足

被迫用 FP16 → 算力减半（3 TOPS）

或回退 CPU

3. 三核调度与并行效率（没你想的那么线性）

三核≠3×单核：

单模型很难 完全并行填满 3 核

模型结构串行、依赖强

核间同步、数据拷贝开销

多任务并行才是优势：

核0：YOLO 检测

核1：姿态 / 分割

核2：分类 / OCR

这种场景 接近 6 TOPS

单一大模型：往往只能跑满 1–2 核，合计 2–4 TOPS

4. 功耗与温控（TDP 墙）

RK3588 典型 TDP 10W 左右

CPU（4×A76+4×A55）+ GPU + NPU + 多媒体 共享功耗

NPU 满负载约 2–3W，但：

高负载 → 升温 → 温控 降频 / 关核

多路视频 + NPU 同时跑 → 功耗墙触发

结果：

夏天/小散热/封闭机箱：实际算力再打 7–8 折

5. 模型结构与后处理开销

真实模型不是“纯计算”：

大量 非计算层：

Resize、Pad、Split、ｃｏｎｃａｔ、NMS、ArgMax、Softmax 等

这些层 不占 TOPS，但占时间

后处理（NMS、解码、跟踪）常占总耗时 30%–50%

结论：

理论算力（TOPS）≠ 实际帧率（FPS）

三、实测：6 TOPS 到底跑出多少性能

1. CV 模型（INT8，RKNN 优化）

YOLOv5s（640×640）：

推理：20–25 FPS（单 NPU 核）

等效算力：~1.5–2 TOPS（利用率 ~30%）

YOLOv8n（640×640）：

20–25 FPS

YOLOv8m：

8–12 FPS（接近 2 核，~3 TOPS）

ResNet50：

150–200 FPS**，利用率 **40%–50%

2. 大语言模型（LLM）

LLaMA-2 7B（INT4/INT8）：

速度：3–8 tokens/秒

NPU 利用率：< 40%（带宽瓶颈）

1B 小模型：

10–15 tokens/秒

3. 多路场景（真正体现三核价值）

4–8 路 1080p 简单检测（人脸/车牌）：

三核并行，总算力接近 4–5 TOPS

复杂多路（检测+分割+姿态）：

3–4 TOPS 区间

四、NPU 算力真相总结

1. 标称 6 TOPS = 理论上限

INT8、三核全满、无等待、无回退、无带宽竞争

实验室/跑分场景，几乎不落地

2. 真实可用算力（落地）

单复杂模型：2–3 TOPS（利用率 30%–50%）

多任务并行：3–4.5 TOPS（利用率 50%–75%）

极端优化+好散热：最高接近 5 TOPS

3. RK3588 NPU 定位

不是“6 TOPS 级 GPU”，是 专用边缘 NPU

优势：低功耗（2–3W）、三核并行、多路并发、多媒体+AI 一体化

短板：带宽小、大模型弱、软件生态不如 CUDA

五、突破 6 TOPS 瓶颈：实用优化方向

1. 模型侧

轻量化：YOLOv8n/nano、MobileNet、RepViT

剪枝、蒸馏、稀疏化

后处理 NPU 化 / 量化（减少 CPU 回退）

2. 量化与精度

全链路 INT8（尽量不用 FP16）

启用 混合精度（关键层 INT8，其余 INT4）

3. 内存与带宽

特征图复用、减少拷贝

大模型 权重分块加载、预取

减少 CPU/NPU 数据往返

4. 三核调度（最有效）

多任务拆分到多核

核0：检测

核1：识别/OCR

核2：跟踪/计数

避免“一个大模型占满三核”

5. 系统与散热

主动散热（风扇/大散热片）

温控策略调优（提高降频阈值）

关闭无用模块（GPU/显示等）释放功耗

六、一句话结论

RK3588 的 6 TOPS 是纸面峰值，真实部署稳定可用算力约 2–4 TOPS。

瓶颈不在 NPU 计算，而在内存带宽、软件算子、调度、功耗与模型结构。

它不是“算力怪兽”，但在 2–3 TOPS 实用区间、低功耗、多路边缘 AI 场景里，依然是性价比极高的国产旗舰方案。