传统单 SoC 边缘设备普遍痛点:既要做多路视频解码、业务调度,又要跑 LLM/VLM 大模型,CPU/NPU/ 内存资源互相抢占,视频卡顿、大模型掉速、系统雪
RK3588 内置 NPU 为6TOPS INT8,适合轻量目标检测、少量视频流分析;一旦跑多路视频(8 路以上 1080P)、3B‑7B LLM/VLM 多模
一、核心数据对比(出货量同比)1. 云端 AI 芯片:仅 +12%,相比去年同期 35% 大幅回落,高端算力增速放缓2. 边缘 AI 芯片:+45%,增长显著高
一、架构分工转变(核心逻辑)传统用法:RK3588 整机独立完成系统运行 + 视频解码 + AI 推理,依靠内置 6TOPS NPU 承载全部模型运算,多路视频
重要前置说明1. RKNN3 / RKLLM3 官方原生不支持多卡张量并行跑 27B 稠密大模型,没有开箱即用多卡 demo;整套多卡分片协同推理需要上层自研调
✅ 核心结论1. 硬件层面具备扩展潜力:RK3588 作为主控,通过 PCIe 扩展多张 RK1828(单卡 5GB HBM、20TOPS@INT8),理论上依
*