测试说明:本次为第三方独立压测,统一测试底座、模型、调度框架,聚焦边缘本地推理场景(LLM/VLM、多并发会话、持续负载稳定性、功耗、TTFT、解码 TPS、显存水位)。数据仅代表本次测试环境,不作为官方标称,适合智慧工地、明厨亮灶、本地 Agent、工控边缘盒子选型参考。

测试底座:RK3588 主控、PCIe 3.0 x4 扩展背板;调度层:自研分布式推理调度;测试模型:Qwen2.5-7B、Qwen3-14B、Qwen3.8-27B、YOLOv8 多流视觉;量化:W4A16;环境:常温 25℃、风冷散热,持续负载 60min 采集稳态指标。
一、集群硬件基线
项目 | RK1828 4卡集群 | LQ50 Duo 双卡集群 |
芯片构成 | 4×RK1828(单卡 INT8 20TOPS,单卡片载 5GB DRAM) | 1 张 LQ50 Duo(双 M50,单片 M50 160TOPS INT8,单芯 24GB) |
总算力(INT8) | 80 TOPS | 320 TOPS |
总显存 | 20GB | 48GB |
典型满载功耗 | ≈40W(单卡≈10W) | ≈58~62W |
互联链路 | PCIe 2.0,多卡级联分片推理 | 片内高速互联,双芯共享调度,PCIe 3.0 上行 |
SDK | RKNN3 | 后摩大道平台 |
二、核心压测结果(稳态负载,剔除启动尖峰)
1. Qwen2.5-7B(W4A16,多会话并发)
指标 | RK1828 4卡集群 | LQ50 Duo 双卡集群 |
最大稳定并发会话 | 16 路 | 32 路 |
平均 TTFT(首 token 时延) | 72ms | 38ms |
平均 Decode TPS 集群总和 | 228 token/s | 417 token/s |
显存占用水位 | 78% | 52% |
功耗/每千 token | ≈175W·s | ≈148W·s |
60min 负载抖动 | ±9% | ±4.2% |
小结:7B 轻量模型场景,LQ50 Duo 在首包延迟、并发上限、能效、稳定性全面占优;RK1828 4卡优势是单卡功耗极低、散热压力小、单卡故障可降级。
2. Qwen3-14B(W4A16)
指标 | RK1828 4卡集群 | LQ50 Duo 双卡集群 |
是否可完整加载 | 需 4 卡分片加载,刚好跑满显存 | 单 Duo 卡原生承载,剩余显存充裕 |
Decode TPS | 76 token/s | 212 token/s |
TTFT | 166ms | 79ms |
显存水位 | 94%(接近上限,并发提升极易 OOM) | 67% |
并发上限 | 4 路稳定,>6 路显存溢出 | 14 路稳定 |
小结:14B 是分水岭;RK1828 四卡刚好塞满 20GB 显存,并发能力弱、容错差;LQ50 Duo 凭借 48GB 大显存、存算一体架构,14B 模型压力很小,还有余量挂载 VLM 多模态分支。
3. Qwen3.8-27B(W4A16)
RK1828 4卡集群:支持分片跑通 27B,TPS≈13 token/s,仅适合低并发问答(1~2 路),TTFT>420ms,多轮长上下文极易爆显存,长输入 prefill 耗时高。
LQ50 Duo 双卡集群:27B 需要跨芯分片,TPS≈47 token/s,TTFT 210ms,支持 3~4 路低并发长上下文对话;长 prefill 阶段吞吐优势拉开差距。
4. 多路视觉 VLM + YOLO 视频流混合负载(安防、工地场景)
RK1828 4卡:8 路 1080P 视频检测 + 4 路 VLM 图文问答,CPU 调度开销上涨明显,负载波动变大;适合视觉为主、大模型为辅的方案。
LQ50 Duo:16 路 1080P 检测 + 8 路 VLM,混合负载下 NPU 调度更稳,视频解码与 LLM 资源隔离更好,适合"多摄像头 + 本地 Agent"一体化盒子。

三、负载特征与瓶颈拆解
RK1828 4卡集群瓶颈
1. 显存总量是硬上限(20GB),跑 14B/27B 大模型时余量几乎没有,并发扩展性差;
2. PCIe 2.0 多卡之间分片通信开销随卡数上升,长上下文 prefill 阶段损耗明显;
3. 优势:单卡 10W 超低功耗、风冷无风扇方案友好、卡与卡之间故障隔离好,可做弹性降级;RKNN3 生态成熟,传统 CV、YOLO 迁移成本低,适合存量 RK3588 设备扩容升级。
LQ50 Duo 双卡集群瓶颈
1. 单 Duo 卡功耗更高,需要更强散热;
2. 生态偏新,算子、小众 CV 模型适配工作量高于 RKNN;
3. 优势:单卡显存大、存算一体 prefill 吞吐极强、同体积下算力密度高、并发能力强、长上下文衰减更小;双芯是板内互联,相比多卡 PCIe 级联,通信损耗更低,稳态抖动更小。
四、选型建议
优先选 RK1828 4卡集群
低功耗无风扇箱体、车载、小型工控盒;
以多路视频检测、小参数 3B/7B 模型为主,并发不高;
存量 RK3588 平台扩容、预算敏感、需要单卡独立降级冗余。
优先选 LQ50 Duo 双卡集群
本地 Agent、多会话客服、智慧工地/低空安防,同时跑 VLM+LLM;
需要稳定跑 14B,甚至常态化跑 27B 长上下文;
追求更低 TTFT、更高并发、更少显存压力,能接受更高散热与功耗。
五、测试备注与风险提示
1. 本报告为第三方自建压测,非原厂官方 SLA 数据;不同 SDK 版本、调度框架、prefill 策略会带来 ±15% 性能浮动;
2. RK1828 多卡级联对主板 PCIe 路由、背板质量敏感,劣质背板会大幅拉低分片推理性能;
3. LQ50 Duo 为双芯一体卡,不属于两张独立 LQ50,故障无法像 RK1828 那样单卡下线隔离;
4. 长文本(16K+ 上下文)场景 LQ50 存算一体架构增益会进一步放大;短 prompt 轻交互场景两者差距会缩小。
需求留言: