商城
瑞芯微RK1828是专为端侧7B大模型设计的高算力AI协处理器，20TOPS INT8算力+5GB内置高带宽DRAM，可单芯片跑7B模型，端侧推理达50–100+ token/s，延迟低至0.1秒级。
一、核心硬件规格（专为7B模型优化）
算力：NPU 20TOPS（INT8），支持INT4/INT8/FP16/BF16混合精度
内存：5GB 3D堆叠高带宽DRAM，实测带宽百GB/s级，解决7B模型内存墙
CPU：3×64位RISC-V核心，带FPU与128-bit向量单元
制程：20nm，FCBGA封装（19×19mm）
接口：PCIe 2.1、USB 3.0，可与RK3588等主控协同
二、7B大模型实测性能（官方/第三方）
模型 | 量化 | TTFT（首token） | Decode TPS（生成速度） | 对比Orin NX |
DeepSeek-R1-Distill-7B | W4A16 | 159ms | 56 TPS | 快约3.9倍 |
Qwen2.5-7B | W4A16 | — | 约50–80 TPS | — |
Qwen2.5-3B | W4A16 | 85.8ms | 87.7–102 TPS | 快约3.5倍 |
三、端侧跑7B的关键优势
1. 单芯片部署：内置5GB DRAM，无需外挂内存，降低功耗与成本
2. 实时交互：7B模型50+ token/s，首token<200ms，接近云端体验
3. 低功耗：端侧离线运行，无网络依赖，数据安全、隐私可控
4. 易集成：兼容RKNN、PyTorch、ONNX，支持OpenAI API，可外挂RK3588升级
四、典型应用场景
离线智能终端、工业AI盒子、机器人、车载座舱（RK3588M+RK1828）
本地问答、文档摘要、多模态识图、实时语音交互
五、与RK1820的区别（同系列）
RK1828：5GB DRAM，主打7B模型
RK1820：2.5GB DRAM，主打3B模型
请用手机扫码查看分享内容
需求留言:
领先的边缘智能产品与解决方案提供商
硬件产品咨询：19113907060（耿女士）
软件算法咨询：18982151213（刘先生）
四川省成都市武侯区天府五街花漾锦江JR大厦B座7层（总部）
试用申请
硬件产品咨询
在线客服
回到顶部