商城
华北地区负责人：17340067106（毛经理）
华东地区负责人：17358670739（甘经理）
华南、华西地区负责人：19113907060（耿女士）
软件算法咨询：18982151213（刘先生）
联系我们
瑞芯微RK3588大模型一体机凭借6TOPS NPU算力+异构计算架构+成熟RKLLM工具链，可全兼容运行Qwen、ChatGLM、Llama2等主流开源大模型，是端侧私有化部署的高性价比方案。
一、核心硬件与软件基础
硬件算力：8nm八核CPU（4×A76@2.4GHz+4×A55@1.8GHz）+ 6TOPS NPU，支持INT4/INT8/FP16量化，适配0.5B–8B参数模型。
软件栈：RKLLM工具链可一键转换HuggingFace格式模型为RKLLM格式，NPU硬件加速推理。
系统：兼容Linux/Android，支持本地部署、离线运行。
二、主流模型兼容清单（含Qwen/ChatGLM/Llama2）
模型系列 | 支持型号 | 典型参数 | 推理性能参考 |
Qwen | Qwen-1.8B/3B、Qwen2.5-1.5B/3B、Qwen3-VL | 1.5B–3B | 10–15 token/s |
ChatGLM | ChatGLM3-6B、GLM Edge | 6B | 稳定流畅 |
Llama2 | Llama2-7B、TinyLlama-1.1B | 1.1B–7B | 端侧高效运行 |
其他 | DeepSeek、Phi-3、Gemma、InternLM2等 | 0.5B–8B | 全兼容 |
三、部署与性能要点
1. 量化方案：推荐W8A8/INT4量化，在RK3588上可流畅运行7B级模型。
2. 内存配置：建议16GB+ LPDDR5，保障模型加载与上下文缓存。
3. 推理速度：Qwen2.5-1.5B可达14+ token/s，满足实时交互需求。
4. 场景优势：本地推理、低延迟、数据隐私安全，适合边缘智能、工业终端、智能座舱等场景。
四、一体机核心价值
全栈兼容：覆盖国产/开源主流大模型，一次部署多模型切换。
开箱即用：预装RKLLM与模型示例，降低开发门槛。
高性价比：相比云端/服务器方案，成本低、功耗优、易部署。
请用手机扫码查看分享内容
需求留言:
领先的边缘智能产品与解决方案提供商
华北地区负责人：17340067106（毛经理）
华东地区负责人：17358670739（甘经理）
华南、华西地区负责人：19113907060（耿女士）
软件算法咨询：18982151213（刘先生）
四川省成都市武侯区天府五街花漾锦江JR大厦B座7层（总部）
试用申请
硬件设备咨询
软件算法咨询
在线客服
回到顶部
