新手入门｜快速看懂边缘 AI 计算一体机架构

下面用最直白、新手友好的方式，把边缘 AI 计算一体机（Edge AI Box / 边缘计算网关） 的架构讲清楚，看完就能从 “黑盒子” 变成 “心里有数”。

一、一句话总览

边缘 AI 一体机 = 传感器 / 摄像头 → 接口 → 异构计算核心（CPU+NPU/GPU） → 内存 + 存储 → 网络 → 输出结果 / 上云

所有模块都集成在一台工业盒子里，本地完成 AI 推理，不上云也能跑，主打：低延迟、省带宽、高可靠、易部署。

二、整体架构分层（由外到内）

1）感知层（输入）

负责把现实世界变成数据。

摄像头 / 视频流（RTSP/GB28181）

传感器（温湿度、振动、红外、雷达）

串口 / PLC / 工业总线（RS485、Modbus、CAN）

2）接口与接入层（“翻译官”）

把不同设备统一成机器能懂的信号。

网口：千兆 / 2.5G/5G 以太网

无线：Wi‑Fi、蓝牙、4G/5G、LoRa

视频：HDMI‑IN、MIPI、USB 摄像头

工业：DI/DO、RS232/485、CAN、GPIO

3）计算核心层（大脑，最关键）

主流：CPU + NPU（或 GPU/FPGA）异构

CPU（主控）：系统调度、逻辑控制、外设管理

常见：ARM（瑞芯微 RK3588、RK1828）、x86（Intel/AMD 低功耗）

NPU（AI 加速器）：专门跑深度学习模型（目标检测、人脸识别、OCR）

算力单位：TOPS（每秒万亿次操作）

常见：3/6/16/32/100+ TOPS，INT8 为主（速度快、省内存）

GPU/FPGA：高端机型用，适合复杂模型 / 大并发

4）存储与内存层（工作台 + 仓库）

内存（RAM）：临时放模型和数据，影响并发路数

常见：4GB/8GB/16GB DDR4/DDR5，AI 建议 16GB+

存储（永久）：系统、模型、日志、历史数据

eMMC：低成本、抗震（16–128GB）

SSD：速度快，适合大模型（64GB–2TB，M.2 为主）

5）系统与软件层（操作系统 + AI 引擎）

系统：Linux（Ubuntu/Embedded Linux）为主，稳定、省资源

AI 框架 / 引擎：

推理引擎：TensorRT、ONNX Runtime、Tengine、RKNN

模型：YOLO、SSD、ResNet、自定义行业模型

应用层：视频结构化、智能分析、告警、数据上报、本地展示

6）输出与网络层（结果落地）

本地输出：HDMI 显示、继电器控制、串口指令

网络：结果 / 结构化数据上传云端 / 平台

协议：MQTT、HTTP、TCP/IP、RTSP、Webhook

三、一张极简结构图（文字版）

[摄像头/传感器]

    ↓（网线/USB/串口）

[多接口面板] → 网口/4G/5G/Wi‑Fi

    ↓

[CPU（主控）] ↔ [NPU（AI推理）]

    ↓

[内存DDR] + [存储eMMC/SSD]

    ↓

[Linux系统 + AI推理引擎 + 业务应用]

    ↓

[本地显示/控制] 或 [上云/平台]

四、新手必懂的 3 个核心概念

1）异构计算（CPU+NPU）

CPU：通用、啥都能干但跑 AI 慢

NPU：专用、只干 AI、速度快、功耗低

组合 = 又稳又快

2）TOPS（算力单位）

3 TOPS：简单场景（人脸识别、人数统计）

16 TOPS：主流（8–16 路视频分析、YOLOv5/v8）

100+ TOPS：高端（32 路 +、大模型、高精度）

3）边缘 vs 云端

云端：数据上传→云服务器计算→返回，延迟高、耗带宽

边缘一体机：本地直接算，毫秒级响应，断网也能用

五、典型应用场景（帮你对照理解）

智能安防：摄像头→一体机→人脸 / 车牌 / 异常行为→告警

工业质检：相机→一体机→缺陷检测→报警 / 停机

智慧交通：路侧摄像头→一体机→车流量 / 违章→上云

智慧零售：摄像头→一体机→客流 / 货架识别→报表

六、怎么快速判断一台机器好不好？

新手看 3 点就行：

1. NPU 算力：≥6 TOPS（入门），≥16 TOPS（主流）

2. 内存：≥8GB（建议 16GB）

3. 接口：网口 ×2、USB×3、HDMI、RS485、Wi‑Fi/4G