# 使用基于 Gstreamer 的 Qualcomm® Intelligent Multimedia SDK (IM SDK) 运行 TensorFlow Lite 模型
Source: [https://docs.qualcomm.com/doc/80-70014-54Y/topic/run-a-tensorflow-lite-model-using-the-gstreamer-based-qim-sdk.html](https://docs.qualcomm.com/doc/80-70014-54Y/topic/run-a-tensorflow-lite-model-using-the-gstreamer-based-qim-sdk.html)
RB3 Gen 2 视觉套件附带预编译的端到端 TensorFlow Lite 示例程序，用于运行示例 TensorFlow Lite 模型。
Gst-ai-classification 示例程序使用 IM SDK 插件在 RB3 Gen 2 设备上运行 TensorFlow Lite 分类模型，并使用 TensorFlow Lite Delegate 进行硬件加速。
Figure : 使用 IM SDK 运行 TensorFlow Lite 模型的工作流程
Gst-ai-classification 示例程序执行以下操作：
1. 打开 RB3 Gen 2 视觉套件上的 IMX577 摄像头，并设置特定的分辨率和帧率，例如 1080p 分辨率，30 fps。
2. 对摄像头的每一帧进行预处理，以输入到分类模型中。
例如，gst-ai-classification 示例程序执行以下操作：
1. 将 1080p 帧缩小至 224 x 224 分辨率。
2. 根据模型要求对输入帧进行归一化处理。
3. Qtimltflite IM SDK 插件是基于 TensorFlow Lite C++ API 编写的，可执行以下操作：
1. 加载示例 TensorFlow Lite 分类模型。
2. 利用硬件加速提供的模型进行推理。
4. 对推理的输出进行后处理，即在输出张量中提取具有最高预测概率的标签。
5. 将推理结果叠加在原始摄像机输入图像上，并将其显示在连接的显示器上。
## 下载示例模型
要下载示例模型并将其复制到 RB3 Gen 2 视觉套件，执行以下操作：
1. 如需下载示例模型及相应的标签文件，可运行以下命令：
wget https://github.com/quic/sample-apps-for-qualcomm-linux/releases/download/v0.1.0/v0.1.0.tar.gzCopy to clipboard
2. 如需提取文件，可运行以下命令：
tar -zxvf v0.1.0.tar.gzCopy to clipboard
3. 要使用安全复制协议 (SCP) 将模型和标签文件复制到设备，运行以下命令：
# For SCP, run the following command:
ssh root@[ip-addr]
setenforce 0
mount -o remount,rw /
exitCopy to clipboard
# Copy files securely
scp v0.1.0/* root@[ip-addr]:/opt/Copy to clipboard
Note: 提示输入密码时，输入 oelinux123。
## 使用示例程序执行 TensorFlow Lite 模型
1. 要使用 TensorFlow Lite Runtime 运行推理，运行以下命令：
ssh root@[ip-addr]
setenforce 0Copy to clipboard
# Copy inceptionv3.tflite to inceptionv3_uint8.tflite
cp /opt/inceptionv3.tflite /opt/inceptionv3_uint8.tfliteCopy to clipboard
# Setup Wayland Display environment
export XDG_RUNTIME_DIR=/dev/socket/weston && export WAYLAND_DISPLAY=wayland-1Copy to clipboard
# Run a classification sample app
gst-ai-classification --ml-framework=2Copy to clipboard
- 默认模型路径： /opt/inceptionv3\_uint8.tflite
- 默认标签路径： /opt/classification.labels
2. 要使用定制分类模型运行示例程序，使用以下参数：
- `--model`
- `--labels`
例如：
gst-ai-classification --ml-framework=2 --model=/opt/model.tflite --labels=/opt/classification.labelsCopy to clipboard
3. 如需停止用例，可按下 CTRL + C。
示例程序在运行时会在所连接的显示器上显示摄像头流，并将推理结果叠加在帧上。
**Parent Topic:** [入门指南](https://docs.qualcomm.com/doc/80-70014-54Y/topic/getting-started.html)
Last Published: Aug 06, 2024
[Previous Topic
入门指南](https://docs.qualcomm.com/bundle/publicresource/80-70014-54Y/topics/getting-started.md) [Next Topic
使用原生 TensorFlow Lite 示例程序运行 TensorFlow Lite 模型](https://docs.qualcomm.com/bundle/publicresource/80-70014-54Y/topics/run-a-tensorflow-lite-model-using-a-native-tensorflow-lite-sample-application.md)