国产端侧 AI 芯片之王？RK1828 实测：通义千问 80+TPS，延迟低至 160ms

一、RK1828 是什么

瑞芯微 RK1828 是国产端侧 / 边缘 AI 协处理器（不是主 SoC），2025 年发布，主打低成本、低功耗、高带宽、能跑 7B 大模型。

制程：20nm

NPU 算力：20 TOPS（INT8）

内置 DRAM：5GB 高带宽（3D 堆叠），实测带宽 百 GB/s 级

接口：PCIe 3.0 / USB 3.0，可与 RK3588 等主芯片搭配

定位：端侧 / 边缘离线跑 3B～7B 大语言 / 多模态模型

二、通义千问实测数据（官方 / 公开）

1）Qwen2.5-7B（7B 基础模型）

首包延迟（TTFT）：≈ 160ms

生成速度（TPS）：50+ token/s

2）Qwen2.5-3B / Qwen3-VL-4B（3B～4B 多模态）

TPS：80～90 token/s

端到端延迟：≈ 85～100ms

3）Qwen2.5-Omni-3B（全模态）

TPS：102.6 token/s（RKNN3 SDK 优化后）

三、凭什么叫 “端侧 AI 芯片之王”

1）同级别性能碾压英伟达 Orin NX（常见对比）

Qwen2.5-3B

RK1828：87.7 TPS / 85.8ms

Orin NX：25.2 TPS / 201.8ms

DeepSeek-R1-7B

RK1828：56 TPS / 159ms

Orin NX：14.5 TPS / 322ms

2）国产端侧几乎无对手

算力 + 内存带宽 + 成本组合：

内置 5GB DRAM，不用外挂 DDR，功耗更低、成本更低

20 TOPS + 百 GB/s 带宽，专门优化大模型推理

生态：与阿里云深度适配通义千问，支持 LLaMA、DeepSeek 等主流模型

3）应用场景已落地

智能座舱 AI BOX（离线多模态交互）

工业视觉检测、机器人本地大脑

智能家居中控、离线翻译机、便携 AI 设备

四、算不算 “之王”？客观说

✅ 在 7B 级端侧大模型推理领域，目前国产第一、世界一流，强于 Orin NX、Jetson Nano 等。

✅ 协处理器形态：需搭配主 SoC（如 RK3588），不是独立主芯片。

✅ 局限：20nm 制程，训练能力弱，只适合推理；更大模型（13B+）仍需云端 / 更高端芯片。

五、一句话总结

RK1828 是当前国产端侧跑 7B 大模型的最强 NPU：通义千问 3B/7B 实测 80+TPS、160ms 级延迟，性能碾压同价位英伟达方案，端侧 AI 之王，名副其实（在其赛道内）。