RK182X下半年放量！RK1820/RK1828 M.2算力卡实测，7B大模型端侧跑通

瑞芯微 RK182X 系列 AI 协处理器已经完成量产，根据机构调研信息，该系列将在2026 下半年正式放量，M.2 形态算力卡成为边缘端离线大模型的主流硬件方案，可在嵌入式设备本地跑通 7B 参数大模型，解决端侧大模型长期存在的内存墙、带宽瓶颈问题。

RK1820 / RK1828 核心硬件参数

两款芯片峰值 NPU 算力均为20TOPS@INT8，采用3D 堆叠片内 DRAM，区别主要在于内置内存，直接决定可运行模型上限：

M.2 2280 规格即插即用，适配 RK3588/RK3576/RK3568 等主控，主 SoC 负责系统调度，RK182X 专职 AI 推理，互不抢占 CPU 与内存资源。

M.2 算力卡实测：7B 大模型本地离线推理

测试环境：RK3588 主控 + RK1828 M.2 Key B‑M 算力卡，模型：Qwen2.5‑7B‑INT8，输入 128token，输出 128token。

TTFT（首 token 响应）：92.85ms

TPS 生成速度：67.36 tokens/s，达到流畅可用交互等级，可实现离线多轮对话、图文问答。

对比参考：仅依靠 RK3588 自带 NPU 跑 Qwen2.5‑7B，仅约 15.6tokens/s，接入 RK1828 后推理性能提升 4 倍以上。

RK1820 受限于 2.5GB 片内内存，更适合 3B 参数以内模型，Qwen2.5‑3B 实测可达 96+ tokens/s，面向成本敏感场景；7B 大模型生产部署优先选用 RK1828 版本。

支持模型清单：

大语言：Qwen2、Qwen3、Llama3、Gemma 系列 1.5B‑7B；

多模态：Qwen‑VL、MiniCPM‑V，本地图文理解；

语音：Whisper、SenseVoice 离线 ASR/TTS；

工业视觉：YOLO 全系列、图像分割、缺陷检测，多路视频流并行分析。

M.2 对比 SODIMM 版本差异

同芯片两种硬件形态，M.2 版本体积更小，更适配工控机、小型边缘盒子；SODIMM NPU 主频更高，性能略强。

行业落地与放量节奏

1. 量产进度：RK182X 已量产，2026 下半年客户导入完成后进入放量周期，主打主控 + 独立 AI 协处理器异构架构，避开 SoC 内置 NPU 带宽瓶颈。

2. 典型场景：智慧工地、工业质检、本地私有化大模型盒子、机器人、离线智能终端，摆脱云端 token 开销，保障数据隐私。

3. 选型建议：

3B 模型、成本优先：RK1820；

7B 大模型、多模态业务：RK1828，优先 M.2 版本方便快速集成；追求极致推理性能选 SODIMM 形态。

总结

RK182X M.2 算力卡把 7B 大模型真正带到低功耗边缘端，不用高性能 x86 主机，嵌入式平台插上即可离线跑大模型。下半年放量后，会进一步降低私有化端侧大模型硬件门槛，加速 AIoT 设备本地大模型普及。

家具美容培训

家具维修培训