做本地大模型推理，M.2 算力卡需要关注哪些指标？

大模型推理瓶颈大多不是纸面 TOPS，而是板载内存、内存带宽、量化支持、软件栈、PCIe 接口、功耗散热，M.2 形态体积受限，坑点比标准 PCIe 大卡更多。

1、板载本地内存（最重要指标）

大模型权重、KV‑Cache 全部占用板载内存，不要依赖主机内存（DRAM‑less 方案跑 LLM 基本不可用）。

7B 模型：INT4 量化至少需要5‑6GB 板载内存；INT8 需要 8‑10GB

13B 模型：INT4 需要10‑12GB；INT8 需要 16GB 以上

多并发、长上下文、RAG 多模型同时运行，内存要留 30% 以上余量

坑：很多 M.2 NPU 只有 2‑4GB 板载内存，只适合 CV，跑 LLM 会频繁 swap，token 速度暴跌。

2、芯片内部内存带宽（LLM 第一性能瓶颈）

Transformer 生成 token 时，反复读取权重，内部带宽远大于算力的影响。

优先看：LPDDR5 / 3D 堆叠 DRAM 带宽数值（GB/s）

例：RK1828 堆叠内存≈100GB/s；LQ50 LPDDR5 可达 153.6GB/s

注意：PCIe 带宽≠芯片内部带宽，PCIe 只负责模型加载、收发输入输出，不参与 token 生成循环。

3、算力与精度支持（不要只看 INT8 TOPS）

1. 算力：INT8 TOPS 是纸面峰值，实际 LLM 性能要看实测 token/s（tokens/sec），7B 模型优先看 Qwen2.5/Llama2 实测速度，不要迷信标称 TOPS。

2. 精度支持

必须支持：INT4 / W4A16 / AWQ/GGUF 量化，现在本地 LLM 主流是 4bit 量化；

BF16/FP16 用于模型输入输出、KV‑Cache，缺少会损失效果或速度；

避坑：部分老 NPU 只支持 INT8，4bit 量化靠软件模拟，速度掉一半以上。

4、M.2 物理接口与 PCIe 总线

1. Key 类型：大模型算力卡几乎都是 M‑Key（2280）；B‑Key 多用于 SSD，带宽不够跑 LLM。

2. PCIe 通道：优先 PCIe4.0 x4；PCIe3.0 x4 可以用，但模型加载、切换模型速度慢；PCIe x1/x2 不适合大模型，会产生传输瓶颈。

重要：主板插槽必须跑满 x4，很多工控机 / NUC 的 M.2 插槽实际只跑 x2，性能直接减半。

5、功耗与散热（M.2 形态高频踩坑点）

M.2 空间狭小，散热是稳定性关键：

主流 M.2 LLM 加速卡典型功耗：5‑13W，部分型号可达 15W+。

确认：卡自带散热片，主机 M.2 位置通风；密闭机箱无散热，长时间推理会降频，token 速度持续下跌。

供电：M.2 插槽 3.3V 供电上限有限，部分高算力 M.2 卡需要额外 12V 辅助供电，确认主板支持。

6、软件栈 & SDK（决定能不能跑起来）

纸面参数再好，SDK 不支持 LLM 等于废卡：

1. 是否原生支持 LLM 推理框架：llama.cpp、vLLM、SGLang，是否有适配 demo；

2. 量化格式支持：GGUF、AWQ、GPTQ 能否直接跑，还是需要繁琐的模型编译转换；

3. 系统支持：Linux 必选；Windows 支持看项目需求；

4. 算子完备度：RoPE、KVCache、连续批处理，这些是大模型必备算子，缺失会无法长上下文、多轮对话。

7、多卡扩展能力（多模型 / 更高并发场景）

是否支持多 M.2 卡同时工作，多卡负载均衡；

注意：主板 PCIe 通道总数，插多张 M.2 卡会拆分通道，每张卡通道降速。

8、实测参考（选型校验）

不要只看规格书，优先找公开实测：

7B 模型，INT4，2k 上下文，tokens/s；

长上下文（8k/32k）下速度衰减情况；

多并发对话场景下吞吐量。

简易选型参考

补充：M.2 算力卡适合 AI‑PC、小型工控本地私有化部署；如果追求极高并发，优先标准全高 PCIe 算力卡。

家具美容培训

家具维修培训