# 开始运行 LiteRT 模型
您可以通过设置前提条件并下载所需文件，在 Qualcomm^®^ 开发套件上运行 LiteRT 模型。使用预编译的 gst-ai-classification 或 原生 label\_image 示例应用程序来运行 LiteRT 分类模型。
## 运行 LiteRT 模型的前提条件
在开始运行 LiteRT 模型之前，请执行以下操作来设置基础架构：
Tab Qualcomm Linux
Tab Ubuntu
1. 设置 Qualcomm 开发套件。相关说明，请参见以下内容：
- QCS6490/QCS5430：[Qualcomm Dragonwing RB3 Gen 2 开发套件快速入门 – Linux](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-253)
- IQ-9075：[Qualcomm Dragonwing IQ-9075 Evaluation Kit quickstart – Linux](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-263/)
- QCS8275：[Qualcomm IQ-8 Beta Evaluation Kit Quick Start Guide](https://docs.qualcomm.com/bundle/80-70017-263/resource/80-70017-263_REV_AA_Qualcomm_IQ-8_Beta_Evaluation_KitQuick_Start_Guide.pdf)
- IQ-615：[Qualcomm Dragonwing IQ-615 Beta Evaluation Kit Quick Start Guide](https://docs.qualcomm.com/bundle/80-70020-293/resource/80-70020-293_REV_AA_Qualcomm_Dragonwing_IQ-615_Beta_Evaluation_Kit_Quick_Start_Guide.pdf)
>
>
> Note
>
>
> IQ-615 仅支持使用 CPU 和 QNN 数字信号处理器 (DSP) delegate 进行推理。
Note
Qualcomm Dragonwing™ IQ-9075、QCS8275 和 Qualcomm Dragonwing™ IQ-615 快速入门指南仅供授权用户使用。要升级您的访问权限，请前往[使用 Qualcomm](https://www.qualcomm.com/support/working-with-qualcomm)。
2. 使用 HDMI 将 Qualcomm 开发套件连接到显示器。
3. 将 Qualcomm 开发套件升级到最新的可用软件版本。相关说明，请参见[下载平台 eSDK](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-254/how_to.html#download-the-platform-esdk)。
4. 将镜像刷写到设备。相关说明，请参阅[刷写软件镜像](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-254/flash_images.html)。
1. 设置 Qualcomm 开发套件。相关说明，请参见以下内容：
- QCS6490：[Qualcomm Dragonwing RB3 Gen 2 Development Kit quickstart - Ubuntu](https://docs.qualcomm.com/bundle/publicresource/topics/80-90441-1)
- IQ-9075：[Qualcomm Dragonwing IQ-9075 Evaluation Kit quickstart – Ubuntu](https://docs.qualcomm.com/bundle/publicresource/topics/80-90441-252/iq9-ubuntu-qsg-landing-page-1.html)
Note
HTP runtime 目前在 Qualcomm Dragonwing™ IQ-9075 评估套件上不可用；请使用 CPU 或 GPU delegate。
2. 使用 HDMI 将 Qualcomm 开发套件连接到显示器。
3. 将 Qualcomm 开发套件升级到最新的可用软件版本。
4. 安装 LiteRT 和示例应用程序。相关说明，请参阅[前提条件](https://docs.qualcomm.com/bundle/publicresource/topics/80-90441-15/sample-app-evk.html)。
## 使用基于 GStreamer 的 Qualcomm IM SDK 运行 LiteRT 模型
Qualcomm 开发套件包含预编译的 LiteRT 示例应用程序，用于运行示例 LiteRT 模型。gst-ai-classification 示例应用程序使用 Qualcomm IM SDK 插件在 Qualcomm 开发套件上运行 LiteRT 分类模型。该示例应用程序使用 LiteRT delegate 实现硬件加速。
下图展示了一个 pipeline：从摄像头接收视频流，进行预处理，在 AI 硬件上运行推理，然后显示结果。
Tab Qualcomm Linux
Tab Ubuntu
**图：在 Qualcomm Linux 中使用 Qualcomm IM SDK 运行 LiteRT 模型的工作流**
Note
IQ-615 不支持使用 Qualcomm IM SDK 运行 LiteRT 模型。
**图：在 Ubuntu 中使用 Qualcomm IM SDK 运行 LiteRT 模型的工作流**
Gst-ai-classification 示例应用程序执行以下操作：
1. 打开 Qualcomm 开发套件上的 IMX577 摄像头，并设置特定的分辨率和帧率，例如 1080p，30 fps
2. 对每个摄像头的每一帧进行预处理，以向分类模型提供输入数据。
例如，gst-ai-classification 示例应用程序：
1. 将 1080p 帧缩小至 224x224 分辨率
2. 根据模型要求对输入帧进行归一化处理
3. qtimltflite Qualcomm IM SDK 插件是基于 LiteRT C++ API 构建的，可执行以下操作：
1. 加载示例 LiteRT 分类模型
2. 使用硬件加速对模型进行推理
4. 对推理的输出进行后处理，即在输出张量中提取预测概率最高的标签。
5. 将推理结果叠加在原始摄像机输入图像上，并将其显示在连接的显示器上。
### 下载示例模型和标签文件
要使用 gst-ai-classification 示例应用程序运行预编译的 LiteRT 模型，LiteRT 模型及其标签文件必须在设备上可用。
要下载示例 LiteRT 模型和相应的标签文件，然后将其复制到设备，请执行以下操作：
1. 转到 [Qualcomm^®^ AI Hub](https://aihub.qualcomm.com/models/inception_v3?searchTerm=ince&chipsets=qualcomm-qcs6490-proxy)，下载 Inception-v3 量化模型。
Note
针对 QCS6490 演示了 gst-ai-classification 示例应用程序。
2. 请运行以下命令，以便下载相应的标签文件：
Tab Qualcomm Linux
Tab Ubuntu
curl -L -O https://raw.githubusercontent.com/quic/sample-apps-for-qualcomm-linux/refs/heads/main/artifacts/json_labels/classification.json
Copy to clipboard
wget https://raw.githubusercontent.com/quic/ai-hub-models/refs/heads/main/qai_hub_models/labels/imagenet_labels.txt
Copy to clipboard
Note
该模型可在 Qualcomm AI Hub 获取，相应的标签文件可在 QUIC GitHub 获取。
3. 要使用安全复制协议 (SCP) 将模型和标签文件复制到设备，请运行以下命令：
Tab Qualcomm Linux
Tab Ubuntu
# For SCP, run the following command:
ssh root@[ip-addr]
mount -o remount,rw /usr
cd /etc
mkdir labels
mkdir media
exit
Copy to clipboard
# Copy files securely
scp classification.json root@[ip-addr]:/etc/labels
scp inception_v3-inception-v3-w8a8.tflite root@[ip-addr]:/etc/models
Copy to clipboard
1. 要获取 Qualcomm 开发套件的 IP 地址，请运行以下命令：
ifconfig wlan0
Copy to clipboard
2. 当系统提示输入密码时，输入 `oelinux123`。
# For SCP, run the following command:
ssh ubuntu@[ip-addr]
exit
Copy to clipboard
# Copy files securely
scp imagenet_labels.txt ubuntu@[ip-addr]:/home/ubuntu
scp inception_v3_quantized.tflite ubuntu@[ip-addr]:/home/ubuntu
ssh ubuntu@[ip-addr]
sudo mkdir /etc/models
sudo mkdir /etc/labels
sudo mkdir /etc/media
sudo cp /home/ubuntu/inception_v3_quantized.tflite /etc/models
sudo cp /home/ubuntu/imagenet_labels.txt /etc/labels
Copy to clipboard
要获取 Qualcomm 开发套件的 IP 地址，请运行以下命令：
ifconfig wlan0
Copy to clipboard
### 使用 gst-ai-classification 示例应用程序运行 LiteRT 模型
将示例模型和相应的标签文件复制到设备后，请执行以下操作来运行 LiteRT 模型：
1. 要使用 LiteRT 运行推理，请运行以下命令：
Tab Qualcomm Linux
Tab Ubuntu
ssh root@[ip-addr]
Copy to clipboard
ssh ubuntu@[ip-addr]
Copy to clipboard
1. 要搭建 Wayland Display 环境，请运行以下命令：
Tab Qualcomm Linux
Tab Ubuntu
export XDG_RUNTIME_DIR=/dev/socket/weston && export WAYLAND_DISPLAY=wayland-1
Copy to clipboard
export XDG_RUNTIME_DIR=/run/user/$(id -u ubuntu)&& export WAYLAND_ DISPLAY=wayland-1
Copy to clipboard
2. 修改 `/etc/configs` 文件夹中的 `config_classification.json` 文件，如下所示：
Tab Qualcomm Linux
Tab Ubuntu
>
>
> {
> "file-path": "/etc/media/video.mp4",
> "ml-framework": "tflite",
> "model": "/etc/models/inception_v3-inception-v3-w8a8.tflite",
> "labels": "/etc/labels/classification.json",
> "threshold": 40,
> "runtime": "dsp",
> "output-type": "waylandsink"
> }
> Copy to clipboard
1. 将 `video.mp4` 推送到 `/etc/media` 文件夹。
视频文件的默认路径为 `/etc/media/video.mp4`，标签路径为 `/etc/labels/classification.json`，模型为 `/etc/model/inception_v3-inception-v3-w8a8.tflite`。
>
>
> {
> "file-path":"/etc/media/video.mp4",
> "ml-framework": "tflite",
> "model":"/etc/models/inception_v3_quantized.tflite",
> "labels": "/etc/labels/imagenet_labels.txt",
> "constants": "Inceptionv3,q-offsets=<38.0>,q-scales=<0.17039915919303894>;"
> }
> Copy to clipboard
1. 将 `video.mp4` 推送到 `/etc/media` 文件夹。
视频文件的默认路径为 `/etc/media/video.mp4`，标签路径为 `/etc/labels/classification.labels`，模型为 `/etc/model/inception_v3_quantized.tflite`。
>
>
> Note
>
>
> 此步骤需要 sudo 访问权限。
3. 运行分类示例应用程序：
gst-ai-classification --config-file=/etc/configs/config_classification.json
Copy to clipboard
2. 请使用以下参数，以便使用自定义分类模型和标签文件运行示例应用程序：
- `--model`
- `--labels`
1. 修改 `/etc/configs` 文件夹中的 `config_classification.json` 文件，如下所示：
{
"file-path": "/etc/media/video.mp4",
"model":"/etc/models/custom_model.tflite",
"ml-framework": "tflite",
"labels": "/etc/labels/custom_labels.json",
"output-type": "waylandsink"
}
Copy to clipboard
2. 要运行分类示例应用程序，请运行以下命令：
gst-ai-classification --config-file=/etc/configs/config_classification.json
Copy to clipboard
3. 要停止示例应用，请按 **CTRL+C**。
示例应用程序在运行时会在所连接的显示屏上显示视频流，并将推理结果叠加到帧上。
## 使用原生 LiteRT 示例应用程序运行 LiteRT 模型
您可以使用名为 label\_image 的示例 LiteRT 应用程序运行 LiteRT 模型。其中，该应用程序是 TensorFlow 存储库的一部分。label\_image 示例应用程序和 LiteRT 库已交叉编译并安装在目标设备上。
label\_image 示例程序执行以下操作：
1. 加载分类 LiteRT 模型
2. 使用 delegate 对图像进行推理，从而在 Qualcomm 硬件上实现模型加速
若要使用 label\_image 示例程序运行模型，可执行以下操作：
Tab Qualcomm Linux
Tab Ubuntu
1. 下载示例模型、相应标签和示例图像：
- [BMP file](https://github.com/sourcecode369/tensorflow-1/tree/master/tensorflow/lite/examples/label_image/testdata/)
- [MobileNet LiteRT model](https://github.com/emgucv/models/blob/master/mobilenet_v1_1.0_224_float_2017_11_08/mobilenet_v1_1.0_224.tflite)
2. 可在主计算机上运行以下命令：
wget http://download.tensorflow.org/models/mobilenet_v1_2018_08_02/mobilenet_v1_1.0_224_quant.tgz
Copy to clipboard
tar -xvf mobilenet_v1_1.0_224_quant.tgz
Copy to clipboard
wget https://storage.googleapis.com/download.tensorflow.org/models/mobilenet_v1_1.0_224_frozen.tgz
Copy to clipboard
tar -xvf mobilenet_v1_1.0_224_frozen.tgz
Copy to clipboard
# For SCP, run the following command:
ssh root@[ip-addr]
mount -o remount,rw /usr
cd /etc
mkdir artifacts
exit
Copy to clipboard
scp mobilenet_v1_1.0_224_quant.tflite root@[ip-addr]:/etc/artifacts
scp grace_hopper.bmp root@[ip-addr]:/etc/artifacts
scp mobilenet_v1_1.0_224/labels.txt root@[ip-addr]:/etc/artifacts
scp mobilenet_v1_1.0_224.tflite root@[ip-addr]:/etc/artifacts
Copy to clipboard
3. 要使用以下任一 delegate 运行推理，请执行以下操作：
>
>
> - 使用 XNNPACK delegate，在 Arm^®^ CPU 上运行模型：
>
>
>
> label_image -l /etc/artifacts/labels.txt -i /etc/artifacts/grace_hopper.bmp -m /etc/artifacts/mobilenet_v1_1.0_224_quant.tflite -c 10 -p 1 --xnnpack_delegate 1
> Copy to clipboard
>
> - 使用 GPU delegate，在 Qualcomm^®^ Adreno^™^ GPU 上运行模型：
>
>
>
> label_image -l /etc/artifacts/labels.txt -i /etc/artifacts/grace_hopper.bmp -m /etc/artifacts/mobilenet_v1_1.0_224.tflite -c 10 -p 1 --gl_backend 1
> Copy to clipboard
1. 下载示例模型、相应标签和示例图像：
- [BMP file](https://github.com/sourcecode369/tensorflow-1/tree/master/tensorflow/lite/examples/label_image/testdata/)
- [MobileNet LiteRT model](https://github.com/emgucv/models/blob/master/mobilenet_v1_1.0_224_float_2017_11_08/mobilenet_v1_1.0_224.tflite)
2. 运行以下命令：
sudo mkdir /etc/artifacts
cd /etc/artifacts
Copy to clipboard
wget http://download.tensorflow.org/models/mobilenet_v1_2018_08_ 02/mobilenet_v1_1.0_224_quant.tgz
Copy to clipboard
wget https://storage.googleapis.com/download.tensorflow.org/ models/mobilenet_v1_1.0_224_frozen.tgz
Copy to clipboard
tar -xvf mobilenet_v1_1.0_224_frozen.tgz
Copy to clipboard
3. 将步骤 1 中下载的图像和模型文件复制到 `/etc/artifacts`。
4. 要使用以下任一 delegate 运行推理，请执行以下操作：
- 使用 XNNPACK delegate，在 Arm^®^ CPU 上运行模型：
>
>
> label_image -l /etc/artifacts/labels.txt -i /etc/artifacts/grace_hopper.bmp -m /etc/artifacts/mobilenet_v1_1.0_224_quant.tflite -c 10 -p 1 --xnnpack_delegate 1
> Copy to clipboard
- 使用 GPU delegate，在 Adreno 上运行模型：
>
>
> label_image -l /etc/artifacts/labels.txt -i /etc/artifacts/grace_hopper.bmp -m /etc/artifacts/mobilenet_v1_1.0_224.tflite -c 10 -p 1 --gl_backend 1
> Copy to clipboard
## 后续步骤
- [部署 LiteRT 模型](https://docs.qualcomm.com/doc/80-70022-54SC/topic/tensorflow-lite-developer-workflow.html#tensorflow-lite-developer-workflow)
- [运行 LiteRT 示例应用程序](https://docs.qualcomm.com/doc/80-70022-54SC/topic/sample-applications.html#run-litert-sample-apps)
Last Published: Nov 05, 2025
[Previous Topic
LiteRT 概述](https://docs.qualcomm.com/bundle/publicresource/80-70022-54SC/topics/tflite-landing-page.md) [Next Topic
LiteRT 架构](https://docs.qualcomm.com/bundle/publicresource/80-70022-54SC/topics/arch.md)