华北地区负责人:17340067106(毛经理)
华东地区负责人:17358670739(甘经理)
华南、华西地区负责人:19113907060(耿女士)
软件算法咨询:18982151213(刘先生)

联系我们
产品咨询

双 M.2 扩展!瑞芯微RK3588 大模型一体机算力按需升级

作者:万物纵横
发布时间:2026-04-01 09:41
阅读量:

瑞芯微RK3588大模型一体机凭借双M.2扩展,实现了算力与存储的按需灵活升级,完美解决原生6TOPS NPU在运行8B+参数大模型时的算力与带宽瓶颈,是本地化私有化部署的理想方案。


一、双M.2扩展:算力+存储双升级


RK3588一体机标配双M.2高速接口,采用PCIe 3.0协议,支持M-Key与E-Key双类型,可同时实现算力扩展+高速存储,互不冲突。


双 M.2 扩展!瑞芯微RK3588 大模型一体机算力按需升级(图1)


1. M.2算力扩展(核心升级)


M.2 AI加速卡:即插即用,直接接入PCIe通道,将RK3588的6TOPS原生算力,按需扩展至16–40TOPS+。


主流方案:Hailo-8、昇腾310、芯动力M.2加速卡等,单卡提供8–32TOPS算力。


组合方案:双M.2可同时插两张加速卡,总算力最高达40TOPS+,可流畅运行Qwen-7B/14B、Llama 2-13B等中大型模型。


优势:低延迟、高并发、数据本地处理,满足医疗、政务、工业等对数据安全与隐私要求高的场景。


2. M.2存储扩展


M.2 NVMe SSD:支持2242/2260/2280规格,PCIe 3.0 x4,读写速度达3500MB/s+。


容量:可扩展至2TB+,满足大模型权重文件、数据集与推理缓存的高速存储需求。


二、RK3588原生算力与大模型适配


原生算力:8nm工艺,八核CPU(4×A76@2.4GHz+4×A55@1.8GHz)+ 6TOPS NPU,支持INT4/INT8/FP16混合精度。


原生模型支持:可直接运行3B以下参数模型(如Qwen-1.8B、Llama 2-7B量化版);经RKLLM量化优化后,可高效运行8B级模型。


内存配置:最大支持32GB LPDDR4X,为大模型运行提供充足缓存空间。


双 M.2 扩展!瑞芯微RK3588 大模型一体机算力按需升级(图2)


三、双M.2扩展的典型配置方案


配置等级

M.2接口1(算力)

M.2接口2(存储)

总算力

适用模型

基础版

无(原生)

512GB NVMe SSD

6TOPS

3B及以下小模型

标准版

Hailo-88TOPS

1TB NVMe SSD

14TOPS

7B–13B模型

高性能版

昇腾31016TOPS

2TB NVMe SSD

22TOPS

13B–34B模型

旗舰版

Hailo-816TOPS

2TB NVMe SSD

22TOPS

34B+模型/多模型并发


四、核心优势


1. 灵活扩展:算力与存储按需组合,成本可控、升级便捷。


2. 本地化部署:数据不出设备,安全合规、低延迟。


3. 全场景适配:支持Linux/Android/OpenHarmony,兼容Docker与主流大模型框架。


4. 工业级稳定:宽温、无风扇设计,适合边缘计算、智慧安防、工业质检等场景。


五、应用场景


企业私有化大模型:客服、文档问答、代码助手。


边缘AI计算:智慧交通、智能制造、能源巡检。


行业专用设备:医疗影像分析、工业视觉检测、智能座舱。

- END -
分享:
留言 留言 试用申请
产品咨询 产品咨询 硬件设备咨询
华北地区负责人:17340067106(毛经理)
华东地区负责人:17358670739(甘经理)
华南、华西地区负责人:19113907060(耿女士)
技术咨询 技术咨询 软件算法咨询
18982151213(刘先生)
微信在线客服 微信在线客服 在线客服
返回官网顶部 返回官网顶部 回到顶部
关闭窗口
产品订购
  • *

  • *

  • *

  • *

  • *