# 示例程序
Source: [https://docs.qualcomm.com/doc/80-70015-54SC/topic/sample-applications.html](https://docs.qualcomm.com/doc/80-70015-54SC/topic/sample-applications.html)
TensorFlow Lite 框架提供了可用于执行以下操作的示例程序：
- 执行任意 TensorFlow Lite 模型
- 执行基准测试
## 下载模型和示例图像
Source: [https://docs.qualcomm.com/doc/80-70015-54SC/topic/sample-applications.html](https://docs.qualcomm.com/doc/80-70015-54SC/topic/sample-applications.html)
[入门](https://docs.qualcomm.com/doc/80-70015-54SC/topic/getting-started.html) 中的示例程序使用 label\_image TensorFlow Lite 框架提供的示例程序，可以运行任何分类模型；例如 MobileNet v1、v2。
开始之前，确保您已准备好以下各项：
- Ubuntu 22.04 主机
- Qualcomm Linux 开发套件
要使用示例程序，下载以下内容：
- 示例模型
- 包含标签的对应文件
- 示例图像
示例应用程序使用 MobileNet v1 模型，该模型包含 1000 个类别的 ImageNet 数据集上进行训练。MobileNet v1 模型展示了一个经过训练用于图像分类的模型。
有关如何将模型、标签文件和示例图像下载并复制到设备上的 `/opt/` 目录的说明，参见 [入门](https://docs.qualcomm.com/doc/80-70015-54SC/topic/getting-started.html)。
## 使用可用的 delegate 运行 TensorFlow Lite 模型
Source: [https://docs.qualcomm.com/doc/80-70015-54SC/topic/sample-applications.html](https://docs.qualcomm.com/doc/80-70015-54SC/topic/sample-applications.html)
TensorFlow Lite 开源框架提供了 label\_image 示例程序，可使用现有的任一 delegate 执行 TensorFlow Lite 模型。label\_image 示例程序的源代码可在 [TensorFlow GitHub 存储库](https://github.com/tensorflow/tensorflow/tree/master/tensorflow/lite/examples/label_image)中找到。
label\_image 示例程序与 TensorFlow Lite 库一起交叉编译，并安装在目标设备上。
以下示例演示如何使用可用的 TensorFlow Lite delegate 执行 TensorFlow Lite 模型：
Note: 您还可以将 delegate 与 label\_image 示例程序一起使用。
- 要使用 XNNPACK delegate，运行以下命令：
ssh root@[ip-addr]
cd /opt
Copy to clipboard
label_image -l /opt/labels.txt -i /opt/grace_hopper.bmp -m /opt/mobilenet_v1_1.0_224_quant.tflite -c 10 -p 1 --xnnpack_delegate 1
Copy to clipboard
- 要使用 GPU delegate，运行以下命令：
ssh root@[ip-addr]
cd /opt
Copy to clipboard
label_image -l /opt/labels.txt -i /opt/grace_hopper.bmp -m /opt/mobilenet_v1_1.0_224_quant.tflite -c 10 -p 1 --gl_backend 1
Copy to clipboard
Figure : GPU delegate 创建的性能统计
### 对 TensorFlow Lite 模型性能进行基准测试
开源的 TensorFlow Lite 提供了一个工具，可以使用 delegate 对硬件上的模型执行进行基准测试。此工具可与设备上安装的其他工具一起使用。
该基准测试工具当前可测量并计算以下性能指标的统计数据：
- 初始化时间
- 预热状态的推理时间
- 稳定状态的推理时间
- 初始化期间的内存使用情况
- 总体内存使用情况
在开始之前，请确保下载的模型位于目标设备上的 `/opt/` 目录中。
要进行基准测试，执行以下操作：
- 要使用 XNNPACK delegate 对模型进行基准测试，运行以下命令：
ssh root@[ip-addr]
cd /opt/
Copy to clipboard
benchmark_model --graph=/opt/mobilenet_v1_1.0_224_quant.tflite -- enable_op_profiling=true --use_xnnpack=true --num_threads=4 --max_secs=300 --pofiling_output_csv_file=/opt/mobilenet_v1_1.0_224_quant_xnnpack_performance.csv
Copy to clipboard
- 要使用 GPU delegate 对模型进行基准测试，运行以下命令：
ssh root@[ip-addr]
cd /opt/
Copy to clipboard
benchmark_model --graph=/opt/mobilenet_v1_1.0_224_quant.tflite --enable_op_profiling=true --use_gpu=true --num_runs=100 --warmup_runs=10 -- max_secs=300 --profiling_output_csv_file==/opt/mobilenet_v1_1.0_224_GPU_Delegate_performance.csv
Copy to clipboard
Figure : GPU 的基准模型工具统计
## 使用外部 delegate 运行 QNN delegate
Source: [https://docs.qualcomm.com/doc/80-70015-54SC/topic/sample-applications.html](https://docs.qualcomm.com/doc/80-70015-54SC/topic/sample-applications.html)
QNN delegate 依赖于 Qualcomm AI Engine Direct API 及其后端，它们用来加速 Adreno GPU 和 Hexagon Tensor Processor 上的模型。
设备必须具备以下库才能使用外部 delegate 接口运行 QNN delegate：
- `libQnnTFLiteDelegate.so` QNN delegate 库
- Qualcomm AI Engine direct SDK 的库
作为外部 delegate 接口的一部分， `libQnnTFLiteDelegate.so` 作为工具的外部 delegate 库提供。加载 delegate 库后，可通过外部 delegate 选项定制执行以使用特定后端执行模型。
例如：
- `libQnnGpu.so` 后端库用于在 GPU 上运行 QNN delegate。
- `libQnnHtp.so` 后端库用于在 Hexagon Tensor Processor 上使用 QNN delegate 运行模型。
要在 Hexagon Tensor Processor 上对模型进行基准测试，通过 QNN 外部 delegate 接口运行该模型。
使用以下命令运行推理：
benchmark_model --graph=/opt/mobilenet_v1_1.0_224_quant.tflite --external_delegate_path=/usr/lib/libQnnTFLiteDelegate.so --external_delegate_options='backend_type:htp;library_path:/usr/lib/libQnnHtp.so;skel_library_dir:/usr/lib/rfsa/adsp;htp_precision:0;htp_performance_mode:2'Copy to clipboard
更多详细信息，参见 [QNN delegate 的外部 delegate 选项](https://docs.qualcomm.com/doc/80-70015-54SC/topic/sample-applications.html#external-delegate-options-for-qnn-delegate)。
该图突出显示了 benchmark\_model 工具提供的以下统计数据：
- 是否已成功创建 delegate
- 模型使用 delegate 在硬件上运行所需的平均推理时间
- 模型执行的内存占用
Figure : 工具统计：benchmark\_model
### QNN delegate 的外部 delegate 选项
Source: [https://docs.qualcomm.com/doc/80-70015-54SC/topic/sample-applications.html](https://docs.qualcomm.com/doc/80-70015-54SC/topic/sample-applications.html)
外部 delegate 接口动态加载 Qualcomm AI Engine direct delegate。因此，它没有关于 Qualcomm AI Engine direct delegate 选项的静态信息。
外部 delegate 将字符串作为键值对发送到 Qualcomm AI Engine direct delegate，后者将其解析为选项。使用外部 delegate 接口的应用程序必须事先确定接受的键和值选项字符串。
下表列出了 Qualcomm AI Engine direct delegate 中可用的键值选项字符串：
Table : 键值选项字符串
| 选项键 | 选项值 | 默认值 | 必选 | 说明 |
| --- | --- | --- | --- | --- |
| backend\_type | GPU 和 Hexagon Tensor Processor | 不适用 | 是 | 用于打开和运行图的后端 Qualcomm AI Engine Direct 库。 |
| gpu\_precision | 0, 1, 2, 3 | 2 = Float16 以获得最佳性能 | 否 | GPU 后端的精度，定义了图张量（输入或输出张量）的优化级别。
- 0: 遵守 TensorFlow Lite 图中指定的精度
- 1: Float32
- 2: Float16
- 3: 混合
|
| gpu\_performance\_mode | 0, 1, 2, 3 | 0 = 默认值 | 否 | 用于提供 GPU 后端支持的精度模式的标志。
|
| htp\_performance\_mode | 0, 1, 2, 3, 4, 5, 6, 7, 8 | 0 = 默认值 | 否 | 当使用 performance\_mode 时，delegate 会在推理过程中优先选择用户提供的性能级别，并在推理完成后恢复到较为宽松的状态。
- 0: 默认值
- 1: 持续的高性能
- 2: 突发
- 3: 高性能
- 4: 节能
- 5: 低节能
- 6: 高节能
- 7: 低平衡
- 8: 平衡
|
| htp\_pd\_session | 未签名，已签名 | 未签名 | 否 | 此标志定义 Hexagon Tensor Processor 后端的 PD 会话。 |
| htp\_precision | 0 | 0 = 量化精度 | 否 | 用于提供 Hexagon Tensor Processor 后端支持的精度模式的标志。默认精度模式支持量化网络。其他精度模式可能仅在某些 SoC 上受支持。
|
| htp\_optimization\_strategy | 0、1 | 0 = 优化推理 | 否 | 用于选择 Hexagon Tensor Processor 后端优化策略的标志。默认优化策略对图进行推理优化。
|
| htp\_perf\_ctrl\_strategy | 0、1 | 0 = 手动 | 否 | 用于选择 Hexagon Tensor Processor 性能控制策略的标志。在初始化后端时手动评估性能，并在后端结束时释放性能。
|
| htp\_use\_conv\_hmx | 0、1 | 1 = 启用 HMX 以支持浅层 conv2d | 否 | 启用 HMX 以支持浅层 conv2d 的标志。更多信息，参见 C 接口或 qnn\_delegate.h。
- 0: 不为浅层 conv2d 启用 HMX。
- 1: 为浅层 conv2d 启用 HMX。
|
| htp\_use\_fold\_relu | 0、1 | 0 = 不得将整流线性单元 (ReLU) 融合到 conv2d 中 | 否 | 启用 ReLU 与 conv2d 融合的标志。更多信息，参见 C 接口或 qnn\_delegate.h。
- 0: 不要启用 ReLU 与 conv2d 的融合。
- 1: 启用 ReLU 与 conv2d 的融合。
|
| library\_path | <Path to the back-end library file> | 与所选 Qualcomm AI Engine Direct 后端关联的默认库 | 否 | 可选参数，用于覆写 Qualcomm AI Engine Direct 后端库。 |
Last Published: Dec 04, 2024
[Previous Topic
TensorFlow Lite 开发者工作流程](https://docs.qualcomm.com/bundle/publicresource/80-70015-54SC/topics/tensorflow-lite-developer-workflow.md) [Next Topic
可选：编译 TensorFlow Lite Runtime](https://docs.qualcomm.com/bundle/publicresource/80-70015-54SC/topics/build-qualcomm-linux-and-install-tensorflow-lite-runtime.md)