产品咨询:17340067106(毛经理)
软件算法咨询:18982151213(刘经理)

联系我们
产品咨询

M.2 PCIe Switch 扩展卡新增算力隔离调度 SDK,多卡业务资源隔离

作者:万物纵横
发布时间:2026-10-12 10:02
阅读量:

M.2 PCIe Switch 扩展卡配套算力隔离调度 SDK,实现多 M.2 算力卡(LQ50/BM1684X/BM1688 等)之间业务资源硬隔离 + 动态调度,多任务 / 多容器互不抢占算力、带宽,适合边缘 AI 盒子、多路视频分析、本地大模型推理场景。


M.2 PCIe Switch 扩展卡新增算力隔离调度 SDK,多卡业务资源隔离(图1)


核心能力


1. 多卡资源隔离


PCIe 链路带宽隔离:划分独立带宽配额,防止单路高负载业务占满总线,挤压其他任务;


算力硬件隔离:按卡 / 按虚拟分区分配算力配额,任务内存、算子队列相互隔离,一个业务崩溃不影响其他推理实例;


设备权限隔离:SDK 支持多进程 / 容器绑定指定 M.2 算力卡,避免多应用抢设备句柄冲突。


2. 算力调度能力


静态配额:预分配算力、PCIe 带宽给不同业务(如 A 路 4 路视频,B 路本地 LLM 推理);


动态弹性调度:低负载时段释放空闲算力,高峰期按优先级自动调度空闲卡资源;


负载监控:SDK 提供 API 读取每张 M.2 卡算力利用率、PCIe 吞吐、温度、显存占用。


3. SDK 接口与部署


C/C++ 原生 API,可封装 Python;支持 Docker/K8s 边缘容器调用;


无需修改原有 AI 推理模型代码,只需要在业务启动时绑定隔离分组;


适配国产平台:RK、飞腾、鲲鹏,麒麟 V10 系统;


适配 M.2 形态算力卡:LQ50、BM1684X、BM1688 等 M.2 2280 AI 加速卡。


典型场景


智慧工地 / 明厨亮灶:多路视频算法独立隔离,单路摄像头算法异常不宕机其他通道;


多租户边缘一体机:不同客户业务跑在同主机多 M.2 算力卡,租户算力隔离;


混合推理业务:同时跑大模型 + 视觉检测,两类业务带宽、算力分开管控。


价值亮点


✅ 同主机多 M.2 算力卡混跑,解决 PCIe 总线争抢问题


✅ 故障域隔离:业务崩溃只占用分配到的算力分区,不扩散


✅ 轻量化调度,低开销,适合边缘端,不占用 CPU 过多资源


✅ 可对接上层运维平台,做算力配额、监控、告警

- END -

家具美容培训

家具维修培训

分享:
留言 留言 试用申请
产品咨询 产品咨询 产品咨询
17340067106(毛经理)
技术咨询 技术咨询 软件算法咨询
18982151213(刘经理)
微信在线客服 微信在线客服 在线客服
返回官网顶部 返回官网顶部 回到顶部
关闭窗口
产品订购
  • *

  • *

  • *

  • *

  • *