# 目标检测、分类和分割 Source: [https://docs.qualcomm.com/doc/80-70020-50SC/topic/object-detection-classification-and-segmentation-python-sample-app.html](https://docs.qualcomm.com/doc/80-70020-50SC/topic/object-detection-classification-and-segmentation-python-sample-app.html) **gst-filesrc-2detection-classification-segmentation-side-by-side.py** 脚本从摄像机流中的场景中识别目标，将边界框叠加在检测到的目标上，从视频流中对场景进行分类，并对视频进行语义分割。输出并排显示在屏幕上。 Figure : 用于目标检测、图像分类和分割的 pipeline 有关该 pipeline 中使用的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70020-50SC/topic/object-detection-classification-and-segmentation-python-sample-app.html#object-detection-classification-and-segmentation-python-sample-app__section_mty_hyk_bdc)。 ## 模型文件 Table : 用于检测和分类的模型 | 目的 | LiteRT模型 | 说明 | | :--- | :--- | :--- | | 目标检测 | YOLOv8 |

  1. 从摄像头流中识别场景中的目标。


  2. 将边界框覆盖在检测到的目标上。


| | 图像分类 | Resnet101 |

  1. 对摄像头流中的场景进行分类。


  2. 在屏幕上叠加分类标签。


| | 图像分割 | FFNet40S | 为视频文件生成语义分割。 | ## 运行应用程序 1. 确保您已完成[前提条件](https://docs.qualcomm.com/doc/80-70020-50SC/topic/prerequisites-for-python-sample-applications.html)。 2. 在目标设备上运行检测、分类和分段脚本： gst-filesrc-2detection-classification-segmentation-side-by-side.pyCopy to clipboard 如需显示可用的帮助选项，可运行以下命令： gst-filesrc-2detection-classification-segmentation-side-by-side.py -hCopy to clipboard 以下是输入视频： | 输入视频 | 目录 | | --- | --- | | 目标检测 | /etc/media/detection\_input.mp4 | | 图像分类 | /etc/media/classification\_input.mp4 | | 图像分割 | /etc/media/segmentation\_input.MOV | Python 脚本中的默认文件路径如下： Table : 模型和标签文件的默认目录 | 模型和标签文件 | 目录 | | :--- | :--- | | 检测模型 | /etc/models/yolov8\_det\_quantized.tflite | | 检测标签 | /etc/labels/yolov8n.labels | | 分类模型 | /etc/models/Resnet101\_Quantized.tflite | | 分类标签 | /etc/labels/resnet101.labels | | 分段模型 | /etc/models/ffnet\_40s\_quantized.tflite | | 分段标签 | /etc/labels/dv3-argmax.labels | ## 预期输出 可以在本地显示器上并排预览四个流。 ## Pipeline 流 | 处理过程 | 说明 | | --- | --- | | filesrc | 从文件中读取视频数据。 | | qtdemux | 对视频数据进行解复用。 | | h264parse | 渲染 H.264 视频。 | | [v4l2h264dec](https://docs.qualcomm.com/doc/80-70020-50SC/topic/v4l2h264dec.html) | 解码 H.264 视频。 | | **预处理** | **预处理** | | [qtimlvconverter](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlvconverter.html) |

  1. 在其接收端口上接收视频流。


  2. 执行预处理：


  3. 在其发送端口上将视频流转换为张量数据。

    目标检测、分类和分割模型使用该张量流进行推理。




| | **推理** | **推理** | | [qtimltflite](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimltflite.html) |

  1. 加载模型。


  2. 为选择的 delegate 修改图。


  3. 在其接收端口上接收张量数据。


  4. 执行推理并在其发送端口上生成包含推理结果的张量数据。


| | **后处理** | **后处理** | | [qtimlvdetection](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlvdetection.html) |

  1. 接收来自目标检测模型的推理张量。


  2. 将其接收端口上的推理张量转换为多媒体插件稍后可以处理的视频或文本等格式。


  3. 将阈值应用于所选的结果数。


  4. 加载检测模型的相应模块。

    在此用例中，qtimlvdetection 执行以下操作：


    1. 加载 YOLOv8 子模块。


    2. 将结果生成为文本结构。


    3. 接着发送到 qtimetamux 的接收端口。





| | [qtimlvclassification](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlvclassification.html) |

  1. 从其接收端口上的分类模型接收推理结果。


  2. 将推理张量转换为视频或文本等格式，稍后由多媒体插件进行处理。


  3. 将阈值应用于所选的结果数。


  4. 加载分类模型的相应模块。

    在此用例中，qtimlvclassification 执行以下操作：


    1. 加载模型的子模块。


    2. 将结果生成为带有分类标签的视频帧。


    3. 将它们发送至 qtivcomposer 的接收端口。





| | [qtimlvsegmentation](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlvsegmentation.html) |

  1. 在其接收端口上接收推理张量。


  2. 将推理张量转换为多媒体插件稍后可以处理的视频格式。


  3. 生成帧的语义分割。


  4. 加载分割模型的相应模块。

    在此用例中，qtimlvsegmentation 执行以下操作：


    1. 加载 deeplab-argmax 子模块。


    2. 生成带有分割遮罩的视频帧。


    3. 将它们发送至 qtivcomposer 的接收端口。






| | [qtimetamux](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimetamux.html) |

  1. 在接收端口上接收视频流和文本流，以及与视频流相对应的边框结果。


  2. 使用接收端口中的视频流内容生成 GST 缓存。


  3. 将边框作为 GstVideoRegionOfInterest 从数据接收端添加到其发送端口上的 GST 缓存元数据（元复用）。


| | [qtivoverlay](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtioverlay.html) |

  1. 接收多路复用流。


  2. 使用 CL 将边框叠加在 VideoFrame 上。


  3. 在其发送端口上生成带有叠加层的 GST 缓存。


| | [qtivcomposer](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtivcomposer.html) |

  1. 在接收端口上接收原始视频流和分类结果。


  2. 在其发送端口上生成 GST 缓存，其内容由来自其接收端的视频流组成。


| | **输出** | **输出** | | [Waylandsink](https://docs.qualcomm.com/doc/80-70020-50SC/topic/waylandsink.html) |

  1. 在其接收端口上接收视频


  2. 将视频流提交到 Weston。


  3. Weston 在本地显示器设备上呈现视频流。


| ## 相关信息 - [目标检测](https://docs.qualcomm.com/doc/80-70020-50SC/topic/gst-ai-object-detection.html) - [图像分类](https://docs.qualcomm.com/doc/80-70020-50SC/topic/gst-ai-classification.html) - [图像分割](https://docs.qualcomm.com/doc/80-70020-50SC/topic/gst-ai-segmentation.html) **Parent Topic:** [Python 应用程序](https://docs.qualcomm.com/doc/80-70020-50SC/topic/python-sample-applications.html) Last Published: Jul 23, 2025 [Previous Topic 摄像头编码、目标检测和显示](https://docs.qualcomm.com/bundle/publicresource/80-70020-50SC/topics/camera-encode-file-detection-yolov8-overlay-display.md) [Next Topic 使用 Python 进行并行推理](https://docs.qualcomm.com/bundle/publicresource/80-70020-50SC/topics/parallel-inference-using-python.md)