pipeline_object_detection_and

# 目标检测和分类 Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/camera-ai-detection-overlay-composer-display.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/camera-ai-detection-overlay-composer-display.html) **gst-camera-two-stream-detection-and-classification-side-by-side.py** 应用程序使用 YOLOv8 LiteRT 模型来检测，并使用 `inception_v3` 来分类 AI 叠加编辑器显示的场景中的目标。 Figure : 目标检测和分类的 pipeline 有关该 pipeline 中使用的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70022-50SC/topic/camera-ai-detection-overlay-composer-display.html#camera-ai-detection-overlay-composer-display__section_l1h_cpk_bdc)。 ## 模型文件 Table : 用于检测和分类的模型 | 目的 | LiteRT模型 | 说明 | | :--- | :--- | :--- | | 目标检测 | YOLOX |

从摄像头流中识别场景中的目标。

将边界框覆盖在检测到的目标上。

| | 图像分类 | InceptionV3 |

对摄像头流中的场景进行分类。

在屏幕上叠加分类标签。

| ## 在目标设备上运行应用程序 1. 确保您已完成[前提条件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/prerequisites-for-python-sample-applications.html)。 2. 在目标设备上运行检测和分类脚本： gst-camera-two-stream-detection-and-classification-side-by-side.pyCopy to clipboard 3. 如需显示可用的帮助选项，可运行以下命令： gst-camera-two-stream-detection-and-classification-side-by-side.py -hCopy to clipboard Table : 用于目标检测和分类 python 应用程序的模型和标签文件的默认目录 | 模型和标签文件 | 目录 | | :--- | :--- | | 检测模型 | /etc/models/yolox\_quantized.tflite | | 检测标签 | /etc/labels/yolox.json | | 分类模型 | /etc/models/inception\_v3\_quantized.tflite | | 分类标签 | /etc/labels/classification.json | ## 预期输出图像并排显示在显示器上。 ## Pipeline 流 | 处理过程 | 说明 | | --- | --- | | [qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtiqmmfsrc.html) | 从摄像头采集两个视频流：

用于检测的流使用 tee 分割并发送到以下位置：
- qtimetamux 保留视频流。
- qtimlvconverter 将视频流转换为输入张量以进行检测推理。

用于分类的流使用 tee 进行分割并发送到以下位置：
- qtimetamux 保留视频流。
- qtimlvconverter 将视频流转换为输入张量，用于分类推理。

| | **预处理** | **预处理** | | [qtimlvconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlvconverter.html) |

在其接收端口上接收视频流。

执行预处理：
- 颜色转换
- 缩小/放大
- 当模型期望浮点值作为输入时对流数据进行标准化

在其发送端口上将视频流转换为张量数据。
分类模型使用此张量数据进行推理。

| | **推理** | **推理** | | [qtimltflite](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimltflite.html) |

加载模型。

为选择的 delegate 修改图。

在其接收端口上接收张量数据。

执行推理并在其发送端口上生成包含推理结果的张量数据。

| | **后处理** | **后处理** | | qtimlpostprocess |

接收来自目标检测模型的推理张量。

将其接收端口上的推理张量转换为多媒体插件稍后可以处理的视频或文本等格式。

将阈值应用于所选的结果数。

加载检测模型的相应模块。
在此用例中，qtimlpostprocess 执行以下操作：
1. 加载 YOLOv8 子模块。
2. 将结果生成为文本结构。
3. 接着发送到 qtimetamux 的接收端口。

| | qtimlpostprocess |

从其接收端口上的分类模型接收推理结果。

将推理张量转换为多媒体插件稍后可以处理的视频或文本等格式。

将阈值应用于所选的结果数。

加载分类模型的相应模块。
在此用例中，qtimlpostprocess 执行以下操作：
1. 加载模型的子模块。
2. 将结果生成为带有分类标签的视频帧。
3. 将它们发送至 qtivcomposer 的接收端口。

| | [qtimetamux](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimetamux.html) |

在接收端口上接收视频流和文本流，以及与视频流相对应的边框结果。

使用接收端口中的视频流内容生成 GST 缓存。

将边框作为 GstVideoRegionOfInterest 从数据接收端添加到其发送端口上的 GST 缓存元数据（元复用）。

| | [qtivoverlay](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtioverlay.html) |

接收多路复用流。

使用 CL 将边框叠加在 VideoFrame 上。

在其发送端口上生成带有叠加层的 GST 缓存。

| | [qtivcomposer](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtivcomposer.html) |

在接收端口上接收原始视频流和分类结果。

在其发送端口上生成 GST 缓存，其内容由来自其接收端的视频流组成。

| | **输出** | **输出** | | [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |

在其接收端口上接收视频

将视频流提交到 Weston。

Weston 在本地显示器设备上呈现视频流。

| | | | ## 已知问题 - 输出标签模糊。 - 对于摄像头用例，请使用支持 640 × 360 分辨率的摄像头。 ## 相关信息 - [目标检测](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-object-detection.html) - [图像分类](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-classification.html) **Parent Topic:** [运行基于 Python 的应用程序](https://docs.qualcomm.com/doc/80-70022-50SC/topic/python-sample-applications.html) Last Published: Nov 05, 2025 [Previous Topic 使用 Python 解码 JPEG 图像](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/decode-jpeg-images-using-python.md) [Next Topic 转换和编码摄像头流](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/camera-transform-downscale-and-rotate-encode.md)