M.2 PCIe Switch 扩展卡配套算力隔离调度 SDK,实现多 M.2 算力卡(LQ50/BM1684X/BM1688 等)之间业务资源硬隔离 + 动态调度,多任务 / 多容器互不抢占算力、带宽,适合边缘 AI 盒子、多路视频分析、本地大模型推理场景。

核心能力
1. 多卡资源隔离
PCIe 链路带宽隔离:划分独立带宽配额,防止单路高负载业务占满总线,挤压其他任务;
算力硬件隔离:按卡 / 按虚拟分区分配算力配额,任务内存、算子队列相互隔离,一个业务崩溃不影响其他推理实例;
设备权限隔离:SDK 支持多进程 / 容器绑定指定 M.2 算力卡,避免多应用抢设备句柄冲突。
2. 算力调度能力
静态配额:预分配算力、PCIe 带宽给不同业务(如 A 路 4 路视频,B 路本地 LLM 推理);
动态弹性调度:低负载时段释放空闲算力,高峰期按优先级自动调度空闲卡资源;
负载监控:SDK 提供 API 读取每张 M.2 卡算力利用率、PCIe 吞吐、温度、显存占用。
3. SDK 接口与部署
C/C++ 原生 API,可封装 Python;支持 Docker/K8s 边缘容器调用;
无需修改原有 AI 推理模型代码,只需要在业务启动时绑定隔离分组;
适配国产平台:RK、飞腾、鲲鹏,麒麟 V10 系统;
适配 M.2 形态算力卡:LQ50、BM1684X、BM1688 等 M.2 2280 AI 加速卡。
典型场景
智慧工地 / 明厨亮灶:多路视频算法独立隔离,单路摄像头算法异常不宕机其他通道;
多租户边缘一体机:不同客户业务跑在同主机多 M.2 算力卡,租户算力隔离;
混合推理业务:同时跑大模型 + 视觉检测,两类业务带宽、算力分开管控。
价值亮点
✅ 同主机多 M.2 算力卡混跑,解决 PCIe 总线争抢问题
✅ 故障域隔离:业务崩溃只占用分配到的算力分区,不扩散
✅ 轻量化调度,低开销,适合边缘端,不占用 CPU 过多资源
✅ 可对接上层运维平台,做算力配额、监控、告警
需求留言: