# 架构
Source: [https://docs.qualcomm.com/doc/80-70015-54SC/topic/arch.html](https://docs.qualcomm.com/doc/80-70015-54SC/topic/arch.html)
TensorFlow Lite 框架通过对延迟、模型大小和功耗进行优化，在移动、嵌入式和边缘平台等低功耗需求的设备上运行模型。
该框架借助于 delegate 来运行模型。Delegate 是一些软件层，它们使用特定硬件上高效执行神经网络模型的库。
Figure : TensorFlow Lite Runtime 架构
## TensorFlow Lite Runtime
Source: [https://docs.qualcomm.com/doc/80-70015-54SC/topic/arch.html](https://docs.qualcomm.com/doc/80-70015-54SC/topic/arch.html)
TensorFlow Lite 设备推理将模型加载到解析器中，解析器解析模型并使用 delegate 来运行它。
TensorFlow Lite 设备推理执行以下操作：
1. 推理将 TensorFlow Lite 模型加载到 TensorFlow Lite 解析器接口中，该接口会解析模型以识别模型中存在的神经网络算子。
2. 对解析器接口进一步配置，以使用 delegate 来运行模型。
3. 解析器根据提供的输入调用模型推理，并将模型推理的相应输出保存到为解析器接口提供的缓冲区中。
Qualcomm 支持使用 delegate 在以下加速器上执行 TensorFlow Lite 模型：
- CPU
- Adreno GPU
- Hexagon 张量处理器
下表列出了 delegate 及其加速器：
Table : 支持的 delegate 和加速器
| Delegate | 加速 |
| --- | --- |
| XNNPACK delegate | CPU |
| GPU delegate | GPU |
| Qualcomm^®^ AI Engine direct delegate (Qualcomm^®^ Neural Network (QNN) delegate) | CPU、GPU 和 Hexagon Tensor 处理器 |
## TensorFlow Lite 的 Delegate
Source: [https://docs.qualcomm.com/doc/80-70015-54SC/topic/arch.html](https://docs.qualcomm.com/doc/80-70015-54SC/topic/arch.html)
Delegate 帮助您将 TensorFlow Lite 图处理分配到 CPU、GPU 和 Hexagon Tensor Processor 硬件加速器。
目前支持以下 delegate。
### 使用 CPU 的 XNNPACK delegate
Source: [https://docs.qualcomm.com/doc/80-70015-54SC/topic/arch.html](https://docs.qualcomm.com/doc/80-70015-54SC/topic/arch.html)
XNNPACK delegate 使用 XNNPACK 库来高效地加速 CPU 上的 TensorFlow Lite 模型。
XNNPACK 是 Google 的开源库，它的作用如下：
- 提供可在 Arm CPU 上运行且优化的神经网络算子
- 使用 low-level CPU 指令（如 Arm^®^ Neon™ 指令集）来优化算子，以实现高效执行
XNNPACK delegate 可以运行 32 位浮点和 INT8 格式的模型。有关详细信息，参见 [TensorFlow Lite 的 XNNPACK 后端](https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/delegates/xnnpack/README.md)。
### GPU delegate
Source: [https://docs.qualcomm.com/doc/80-70015-54SC/topic/arch.html](https://docs.qualcomm.com/doc/80-70015-54SC/topic/arch.html)
GPU 开源 Delegate 为包括 Adreno GPU 在内的各种特定厂商的 GPU 提供加速。
TensorFlow Lite 可以使用 GPU delegate 来提高 GPU 的并行处理能力，从而加快推理速度。GPU Delegate 使用 OpenCL 内核在 GPU 的 TensorFlow Lite 模型执行图中运行神经网络。
GPU delegate 默认与 TensorFlow Lite 库一起交叉编译，并针对在 Adreno GPU 上运行以下 TensorFlow Lite 模型进行了优化：
- 16 位浮点
- 32 位浮点
有关详细信息，参见 [TensorFlow Lite 的 GPU delegate](https://www.tensorflow.org/lite/performance/gpu)。
### QNN delegate
Source: [https://docs.qualcomm.com/doc/80-70015-54SC/topic/arch.html](https://docs.qualcomm.com/doc/80-70015-54SC/topic/arch.html)
QNN delegate 是针对特定厂商硬件加速的专有 delegate，用于加速 TensorFlow Lite 模型。QNN delegate 是基于 TensorFlow Lite [的外部 delegate 接口](https://ai.google.dev/edge/litert/performance/implementing_delegate#option_2_leverage_external_delegate) 设计的。
可以使用 QNN delegate 将部分或整个 TensorFlow Lite 模型分配到专用的 Qualcomm 硬件，例如 Adreno GPU 和 Hexagon Tensor Processor。
QNN delegate 通过减少 CPU 工作负载来提高模型执行性能和电源效率。QNN delegate 还使用现有的 Qualcomm AI Engine Direct API 和可用的后端来加速模型。更多信息，参见 [Qualcomm AI Engine Direct](bundle/publicresource/topics/80-63442-50)。
QNN delegate 在可用的硬件上以 32 位浮点精度和 INT8 精度执行模型。
可使用以下接口编译应用程序：
- Qualcomm AI Engine direct delegate 接口
- TensorFlow Lite 外部 delegate 接口
使用独立的 TensorFlow Lite 应用程序时，可访问这两种接口。但如果使用 IM SDK 部署 TensorFlow Lite 模型，适用于 Qualcomm TensorFlow Lite Runtime 的 qtimltflite GStreamer 插件将使用 TensorFlow Lite 外部 delegate 接口。有关详细信息，参见 [利用外部 delegate](https://www.tensorflow.org/lite/performance/implementing_delegate#option_2_leverage_external_delegate)。
下图显示了 Qualcomm AI Engine direct SDK 中的 QNN delegate 库的目录结构：
Figure : QNN delegate 库目录结构
### Qualcomm AI Engine Direct delegate 接口
Qualcomm AI Engine direct delegate 接口（也称为 QNN delegate）提供了 `QnnTFLiteDelegate.h` 头文件作为接口。可将这个头文件作为应用程序的一部分，然后将其链接到 QNN delegate 库。
可以在 `aarch64-oe-linux-gcc11.2 cross-compiler` 工具链三元组目录中找到兼容的 QNN delegate 库和 QNN 库。
Table : QNN delegate 加速支持
| 后端名称 | 后端说明 | 目标和库名称 | 库描述 |
| --- | --- | --- | --- |
| CPU | Arm CPU 加速的后端 | | `libQnnCpu.so`：CPU 后端库 |
| GPU | Adreno GPU 硬件加速器的后端 | | `libQnnGpu.so`：GPU 后端库 |
| Hexagon 张量处理器 | Hexagon Tensor Processor 硬件加速器的后端 |
aarch64-oe-linux-gcc11.2
libQnnHtp.so
libQnnHtpPrepare.so
libQnnHtpV68Stub.so
hexagon-v68
|
libQnnHtp.so：用于 Arm CPU 和 Hexagon Tensor Processor 之间通信的库。
libQnnHtpPrepare.so：在 CPU 端运行的 Hexagon Tensor Processor 库。加载此库是为了准备图并在运行时优化执行图。
libQnnHtpV68Stub.so：CPU 端的 Hexagon Tensor Processor 代理库，与 Hexagon Tensor Processor 上加载的 Skel 库进行通信。
libQnnHtpV68Skel.so：Hexagon Tensor Processor 原生库，包含针对 Hexagon Tensor Processor 优化的内核/算子。
|
Note:根据 Qualcomm Linux 开发套件的 Hexagon Tensor Processor 版本选择适当的库。版本如下：
- QCS6490/QCS5430：Hexagon 张量处理器 v68
- QCS9075：Hexagon 张量处理器 v73
### TensorFlow Lite 外部 delegate 接口
在外部 delegate 接口中，运行 TensorFlow Lite 模型的应用程序必须加载 `libQnnTFLiteDelegate.so` QNN delegate 库。C/C++ 应用程序和 `libQnnTFLiteDelegate.so` delegate 库彼此之间没有依赖项关系。因此，如果 delegate 发生变化，不必重新编译应用程序。
除了 TensorFlow Lite Android C API 之外，还可以按照与 TensorFlow Lite Android C API 相同的方式将以下内容集成到 C/C++ Android 应用程序中：
- External\_delegate.h 头文件
- Libexternal\_delegate.so 共享库
QNN delegate 在 Hexagon Tensor Processor、GPU 和 CPU 上提供加速。要在使用外部 delegate 接口时通过 QNN delegate 定制模型运行的场景和方式，必须提供额外的外部 delegate 选项。相关说明，可参见 [QNN delegate 的外部 delegate 选项](https://docs.qualcomm.com/doc/80-70015-54SC/topic/sample-applications.html#external-delegate-options-for-qnn-delegate)。
Last Published: Dec 04, 2024
[Previous Topic
入门](https://docs.qualcomm.com/bundle/publicresource/80-70015-54SC/topics/getting-started.md) [Next Topic
TensorFlow Lite 开发者工作流程](https://docs.qualcomm.com/bundle/publicresource/80-70015-54SC/topics/tensorflow-lite-developer-workflow.md)