RK1828 四卡级联实测：M.2 多卡堆叠，边缘盒子本地跑 Qwen3.8-27B

一、硬件架构

主控：RK3588（仅做任务调度、外设管理，不参与 LLM 算力计算）

加速卡：4 张 M.2 2280 Key-BM RK1828 AI 算力卡，PCIe2.1 总线

单卡规格：NPU 20TOPS INT8，5GB 3D 堆叠片上 DRAM，片内带宽 1024GB/s，单卡功耗≈10W

4 卡堆叠：总片上显存 20GB，总算力 80TOPS，满载总功耗约 40W，普通被动散热即可，不需要服务器级散热方案

核心优势：RK1828 是 AI 协处理器，显存封装在芯片内部，不占用 RK3588 系统内存；多卡之间做张量并行，模型权重分片分散到 4 张卡片上 DRAM，解决 27B 模型显存瓶颈

二、模型与量化方案

测试模型：Qwen3.8-27B

量化策略（W4A16 混合量化）

Transformer 层：W4A16 /group32

lm_head 输出层：W6A16

final norm 层：保留 FP16，平衡显存占用与输出精度

工具链：RKNN3 SDK，支持多卡张量并行拆分模型权重，OpenAI API 兼容，方便业务接入

三、实测性能指标（官方实测）

Qwen3.8-27B：13.06 tokens/s（TPS）

Qwen3.5-9B：35 tokens/s

测试条件：输入 128token，生成 128token；端侧边缘盒子离线推理，纯本地，无云端依赖

TTFT（首 token 延迟）：数百 ms 级别，属于边缘盒子可接受交互区间

并发：单路对话流畅；多路并发时 TPS 会随负载线性下降，适合单会话、文档问答、RAG 本地知识库场景

四、硬件部署门槛

1. 主板必须支持4 路 PCIe 2.1/3.0 x4，RK3588 底座引出多路 M.2 插槽，实现 4 卡堆叠

2. 供电：整机功耗低，标准边缘盒子电源即可，无需 ATX 大功率电源

3. 散热：40W 总功耗，铝壳被动散热，适合工业箱、嵌入式边缘箱体，无风扇静音方案可选

五、优缺点总结

✅ 亮点

1. 国产 M.2 算力卡，体积紧凑，边缘盒子形态，27B 大模型完全本地离线运行，数据不出设备，隐私友好

2. 低功耗，4 卡满载仅 40W，远低于 GPU 方案，适合工地、光伏、机房、车载等边缘场景

3. 弹性扩容：1 卡跑 7B、2 卡跑 13B、4 卡跑 27B，按需叠加算力卡，升级成本低

4. RKNN3 生态完善，支持 LLM、VLM、RAG 向量检索、语音模型，兼容 Qwen、DeepSeek、MiniCPM 等主流开源模型

局限

1. 27B 模型解码 TPS 仅 13token/s，不适合高并发实时对话，更偏向文档解析、本地知识库、长文本任务

2. PCIe 带宽会带来多卡通信开销，算力无法做到 100% 线性放大

3. 量化会带来轻微精度损失，W4 量化对数学、代码类任务影响相对明显，需要微调量化参数

六、典型落地场景

本地 RAG 知识库、工业设备离线智能分析、明厨亮灶 + 大模型语义复盘、边缘端文档 OCR + 长文本总结、涉密内网 AI 终端。

家具美容培训

家具维修培训