瑞芯微 RK182X 系列作为面向端侧大模型的专用 AI 芯片,即将迎来 SDK1.1.0 版本更新。本次更新从推理架构、模型适配、工具链、硬件协同多个维度优化,解决端侧部署的痛点,给开发者带来更完整的本地化大模型开发方案。

1、多卡级联推理,突破端侧模型尺寸限制
以往端侧硬件受限于单卡显存与算力,很难运行 10B 以上大模型。新版本引入多卡级联推理架构,RK182X 硬件之间协同工作,成功支持 Gemma4‑12B、Qwen3.5‑9B 这类高参数量模型落地,不用完全依赖云端算力,给本地运行更强的大模型提供硬件软件基础。
2、全品类模型原生适配,公开实测推理性能
SDK1.1.0 扩充原生支持的模型库,覆盖当下热门的全模态、多模态、视觉生成模型:
全模态:Qwen3‑Omni (86TPS)、Qwen3.5‑Omni (62TPS)、Gemma4‑12B (30TPS)
多模态 VLM:Qwen3.5 4B (50TPS)、Qwen3.5 9B (35TPS)
视觉生成 & 检测:Dream‑Lite 文生图生成耗时 3.1s,LocateAnything‑3B 达到 102TPS
从对话理解、音视频全模态输入输出,到文生图、目标定位,实现多任务覆盖。完整模型矩阵包含 LLM、语音 ASR/TTS、Embedding、Reranker、视觉网络,大量模型开箱即用,减少开发者模型移植工作量。
3、RKNN3 Toolkit 迭代,降低端侧部署成本
工具链是端侧 AI 开发的关键。升级后的 RKNN3 Toolkit 做了多项实用优化:优化显存占用,缓解端侧硬件内存压力;简化环境部署;支持上下文长度动态调节;提供评估 / 部署一键切换。同时开放自定义 CPU 算子接口,针对行业特殊业务,开发者可以自定义算子完成适配,满足差异化产品开发。
4、RK35XX+RK1828 双芯协同,端侧 Agent 落地新思路
双芯协同架构把业务控制和 AI 算力做了解耦:RK35XX 主控负责外设感知输入、业务逻辑、隐私数据存储;RK1828 专门承担大模型推理,本地运行 4B 模型支持 32K 超长上下文,Agent 的 Skill 任务可以在 5 步内完成本地执行。用户数据不需要上传云端,在本地完成计算处理,兼顾 AI 能力和数据隐私安全。该架构适合智能家居、车载、工业终端等对隐私、实时性有高要求的设备。
整体来看,RK182X SDK1.1.0 补齐了大参数量模型运行、工具易用性、Agent 本地执行能力,为端侧 AI 开发者提供一套完整软硬件方案,加速各类本地大模型终端产品落地。
需求留言: