大模型向端侧下沉已经是明确趋势,但 9B 以上参数的稠密大模型,一直受限于边缘硬件算力、显存瓶颈难以落地。瑞芯微 RK1828给出了一条多卡级联的解决路径,实现对 Qwen3.8‑27B 的 Day0 快速适配,实现端侧本地推理。

为什么 Qwen3.8‑27B 落地边缘有价值?
Qwen3.8‑27B 在编程、办公任务上能力突出,可以处理多步骤复杂任务。如果可以在本地边缘硬件运行,就不用把敏感业务数据上传公有云,对私有化部署、本地智能终端、工业边缘网关场景意义重大。但 27B 参数模型对存储与算力开销高,传统单板边缘芯片很难独立承载。
RK1828 多卡级联是核心突破口
RK1828 定位 AI 推理协处理器,核心特性就是支持多卡级联。通过多片 RK1828 级联,扩展整体算力与存储容量,硬件平台就可以本地流畅运行 Qwen3.5‑9B、Qwen3.8‑27B 这类中等规模稠密大模型,扩充边缘侧可支持模型上限。
RK3588 主控搭配 RK1828 协处理器的硬件方案,已经完成 Qwen 全系列文本、语音、全模态模型深度调优,拿到对应的推理性能实测数据。
完整生态不止 Qwen 系列
底层依托 RKNN3 工具链,RK182X 产品生态并不局限于通义千问系列。大语言模型、语音模型、图文多模态、视觉检测、RAG 向量检索等各类开源模型都可以完成适配,方便开发者快速做产品原型与量产落地。
8 月 14 日 Qwen3.8‑27B 端侧本地推理整套方案正式对外放出。意味着开发者现在可以基于这套硬件,做本地私有化大模型产品开发。对于追求数据不出域、离线可用的 AI 硬件产品,这是一个重要的硬件选型选项。
需求留言: