# 图像分类
Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-classification.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-classification.html)
**gst-ai-classification** 应用程序可以识别图像中的主体。这些用例是使用 Qualcomm Neural Processing SDK、LiteRT 或 Qualcomm AI Engine Direct 模型实现的。
下图展示了一个 pipeline：从摄像头、文件源、USB 源或实时流传输协议 (RTSP) 接收视频流，对其进行预处理，然后在 AI 硬件上运行推理。结果可以显示在屏幕上，保存为编码的 MP4 文件，或通过 RTSP 服务器进行流传输。
有关用于分类的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-classification.html#gst-ai-classification__section_j5t_2jq_nbc)。
Figure : gst-ai-classification pipeline
## 示例模型和标签文件
| Runtime | 模型文件 | 标签文件 |
| --- | --- | --- |
| Qualcomm Neural Processing SDK | inceptionv3.dlc | classification.json |
| LiteRT | inception_v3_quantized.tflite | classification.json |
| Qualcomm AI Engine Direct | inception_v3_quantized.bin | classification.json |
| | | |
| | | |
## 在目标设备上运行应用程序
示例应用程序使用 /etc/configs/config\_classification.json文件读取输入参数。
要创建自己的 config JSON 文件，请使用 [config_classification.json](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-sample-apps/gst-ai-classification/config_classification.json?ref_type=heads) 作为参考。
1. 确保您已完成[前提条件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/download-model-and-label-files.html)。
2. 根据模型、输入流和其他属性更新 config JSON 文件。关于更多详细信息，请参阅 [Config JSON 字段说明](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-classification.html#gst-ai-classification__section_lcw_2zj_32c)。
3. 使用以下格式的 config\_classification.json文件。
{
"file-path": "",
"ml-framework": "",
"model": "",
"labels": "",
"threshold": ,
"runtime": "",
"output-tye": "waylandsink or filesink or rtspsink"
}Copy to clipboard
例如，使用文件输入、LiteRT 模型、DSP runtime 和自定义阈值来运行应用程序：
{
"file-path": "/etc/media/video.mp4",
"ml-framework": "tflite",
"model": "/etc/models/inception_v3_quantized.tflite",
"labels": "/etc/labels/classification.json",
"threshold": 40,
"runtime": "dsp",
"output-type": "waylandsink"
}Copy to clipboard
4. 运行 gst-ai-classification
应用程序：
gst-ai-classification --config-file=/etc/configs/config_classification.jsonCopy to clipboard
Note: 对于 USB 摄像头输入，在配置文件中设置
`video-format`、`resolution` 和
`framerate` 参数以匹配摄像头的功能。要查看摄像头功能，请参阅[配置 USB 摄像头](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-8/usb.html#configure-usb-camera)。
5. 要显示可用的帮助选项，请在 SSH shell 中运行以下命令：
gst-ai-classification -hCopy to clipboard
6. 要停止用例，请按 CTRL +
C。
## 预期输出
经过分类的目标显示在本地显示器上。
Figure : gst-ai-classification 应用程序的预期输出
## Pipeline 流
下表列出了目标分类 pipeline 中使用的插件：
| 插件 | 说明 |
| --- | --- |
| 摄像头源：[qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtiqmmfsrc.html) |
- 从摄像头采集实时流。
- 使用 tee 拆分流进行推理。
|
| 文件源：filesrc |
- 使用 filesrc 采集视频流，然后使用 qtdemux 对视频流进行解复用。
- 使用 tee 拆分流进行推理。
|
| RTSP 源：rtspsrc |
- 使用 rtspsrc 采集 RTSP 流，然后使用 rtph264depay 进行视频提取。
- 使用 tee 拆分流进行推理。
|
| USB 摄像头源：v4l2src |
- 从 USB 摄像头采集实时流。
- 使用 tee 拆分流进行推理。
|
| h264parse | 渲染 H.264 视频。 |
| [v4l2h264dec](https://docs.qualcomm.com/doc/80-70022-50SC/topic/v4l2h264dec.html) | 解码视频 |
| [qtimlvconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlvconverter.html) |
- 在其接收端口上接收视频流。
- 对流数据执行以下预处理。当模型需要浮点值作为输入时，会执行此预处理。
- 颜色转换
- 缩放（放大或缩小）
- 归一化
- 将预处理的视频流转换为其发送端口上的张量数据流。
张量数据流用于 pipeline 后期的推理。 |
| 推理插件： |
- 推理 runtime 在其接收端口上接收到张量数据后，会运行推理。
- 生成一个张量数据流，并在其发送端口上显示推理结果。
|
| qtimlpostprocess | 处理来自任何分类模型的推理结果。
- 将阈值应用于所选结果数。
- 加载 MobileNet-softmax 后处理模块。
- 将结果生成为带有分类标签的视频帧。
- 将这些处理后的结果发送到 qtivcomposer 的接收端口。
|
| [qtivcomposer](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtivcomposer.html) |
- 将接收端口获取的内容组成帧。
- 将包含这些组合帧的 GStreamer 缓存推送到其发送端口。
|
| [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |
- Waylandsink 将其接收端口上接收的视频流提交给 Weston。
- Weston 在本地显示器上渲染视频流。
|
| filesink | 获取其接收端口上接收的视频流，并且将其另存为 H.264 编码的 MP4 文件。 |
| qtirtspbin |
- 用作网络接收器。
- 将 UDP 数据包传输到网络。
|
## Config JSON 字段说明
可用于配置 JSON 文件和运行用例的不同参数如下：
| 字段 | 值/描述 |
| :--- | :--- |
| **ml-framework** | 请使用以下模型之一：
snpe：Qualcomm Neural Processing SDK
tflite：LiteRT
qnn：Qualcomm AI Engine direct
|
| **runtime** | 请使用以下 runtime 之一： |
| **output-ip-address** | 输出服务器 IP 地址。 |
| **port** | 输出服务器端口。 |
| **USB camera video-format and resolution** | 使用以下视频格式之一：
使用以下分辨率参数：
width：输入 USB 摄像头源分辨率宽度。
height：输入 USB 摄像头源分辨率高度。
framerate：输入 USB 摄像头源帧率。
|
| **output-file** | 输出文件的名称。默认输出文件为 `output_classification.mp4`。 |
| **output-type** | 使用以下输出类型之一：
waylandsink：在 Wayland 上显示输出。
filesink：将输出存储在文件中。
rtspsink：在服务器上进行流输出。
|
| **Input source** | 请使用以下输入源之一：
camera：主 (0) 或辅助 (1)。
file-path：视频文件的目录路径。
rtsp-ip-port：RTSP 流的地址：rtsp://<ip>:<port>/<stream>。
usb-camera：将 enable-usb-camera 设置为 TRUE 以使用 USB 摄像头作为输入源。
|
## 相关信息
- [使用 LiteRT 进行图像分类和显示](https://docs.qualcomm.com/doc/80-70022-50SC/topic/single-camera-stream-with-image-classification-and-display-with-litert.html)
- [使用 LiteRT 进行图像分类和编码](https://docs.qualcomm.com/doc/80-70022-50SC/topic/single-camera-stream-with-image-classification-and-encode.html)
- [使用 Neural Processing SDK 进行图像分类和显示](https://docs.qualcomm.com/doc/80-70022-50SC/topic/single-camera-stream-with-image-classification-and-display-with-mobilenet-v1.html)
- [使用 Neural Processing SDK 进行图像分类和编码](https://docs.qualcomm.com/doc/80-70022-50SC/topic/single-camera-stream-with-image-classification-and-encode-with-mobilenet-v1.html)
**Parent Topic:** [运行 AI/ML 示例应用程序](https://docs.qualcomm.com/doc/80-70022-50SC/topic/ai-ml-sample-applications.html)
Last Published: Nov 05, 2025
[Previous Topic
前提条件](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/download-model-and-label-files.md) [Next Topic
目标检测](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/gst-ai-object-detection.md)