# 使用 LiteRT 进行目标检测和编码 Source: [https://docs.qualcomm.com/doc/80-70020-50SC/topic/single-camera-stream-with-object-detection-and-encode.html](https://docs.qualcomm.com/doc/80-70020-50SC/topic/single-camera-stream-with-object-detection-and-encode.html) 该用例使用 YOLOv5 LiteRT 模型来识别场景中的目标。该用例在检测到的目标上叠加或合成边界框，然后将此流编码为 H.264 码流。 ## 使用 qtivoverlay 插件应用边框叠加运行用例： gst-launch-1.0 -e qtiqmmfsrc name=camsrc ! video/x-raw,format=NV12_Q08C,width=1280,height=720,framerate=30/1 ! queue ! tee name=split split. ! \ queue ! qtimetamux name=metamux ! queue ! qtivoverlay ! queue ! v4l2h264enc capture-io-mode=4 output-io-mode=5 ! h264parse ! queue ! mp4mux ! \ queue ! filesink location=/etc/media/video.mp4 split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=external \ external-delegate-path=libQnnTFLiteDelegate.so external-delegate-options="QNNExternalDelegate,backend_type=htp;" model=/etc/models/yolov5.tflite ! queue ! \ qtimlvdetection threshold=75.0 results=10 module=yolov5 labels=/etc/labels/yolov5.labels \ constants="YoloV5,q-offsets=<3.0>,q-scales=<0.005047998391091824>;" ! text/x-raw ! queue ! metamux.Copy to clipboard 要停止用例，请按 CTRL + C。下图展示了用例执行流程： 1. 从摄像头源传来的视频流中识别目标场景。 2. 使用 overlaylib 将边框叠加在检测到的目标上。 3. 将数据流编码为 H.264 码流。 4. 多路复用 MP4 容器中的数据流并将其存储为 MP4 文件。 Figure : 边框叠加和编码的 pipeline 下表列出了 pipeline 执行的顺序处理阶段： | 处理过程 | 说明 | | --- | --- | | [qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtiqmmfsrc.html) |

采集视频流（源）并创建源的两个副本：
- 一个视频流被发送到 qtimetamux 插件以保留视频流。
- 另一个视频流被发送到 ML 推理 pipeline。

| | **预处理** | **预处理** | | [qtimlvconverter](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlvconverter.html) |

在其接收端口上接收视频流。

执行预处理：
- 颜色转换
- 缩小/放大
- 当模型期望浮点值作为输入时对流数据进行标准化

在其发送端口上将视频流转换为张量数据。
目标检测模型使用此张量数据进行推理。

| | **推理** | **推理** | | [qtimltflite](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimltflite.html) |

加载目标检测模型。

为选择的 delegate 修改图。

在其接收端口上接收张量数据。

运行推理并在其发送端上生成带有目标检测结果的张量数据。

| | **后处理** | **后处理** | | [qtimlvdetection](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlvdetection.html) |

接收来自目标检测模型的推理张量。

将接收端口上的推理张量转换为视频或文本等格式，稍后可由多媒体插件进行处理。

将阈值应用于所选的结果数。

加载检测模型的相应模块。
在此用例中，qtimlvdetection 执行以下操作：
1. 加载 YOLOv5 子模块。
2. 将结果生成为文本结构。
3. 接着发送到 qtimetamux 的接收端口。

| | [qtimetamux](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimetamux.html) |

在接收端口上接收视频流和文本流，以及与视频流相对应的边框结果。

使用接收端口中的视频流内容生成 GST 缓存。

将边框作为 GstVideoRegionOfInterest 从数据接收端添加到其发送端口上的 GST 缓存元数据（元复用）。

| | [qtivoverlay](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtioverlay.html) |

接收多路复用流。

使用 CL 将边框叠加在 VideoFrame 上。

在其发送端口上生成带有叠加层的 GST 缓存。

| | [v4l2h264enc](https://docs.qualcomm.com/doc/80-70020-50SC/topic/v4l2h264enc.html) |

将参数应用于在接收端口上接收到的视频流的每一帧。

将其编码为码流，并通过其发送端口发送。

| | h264parse | 向 GStreamer 缓存元数据添加更多码流信息。 | | mp4mux | 接收这些缓存并创建具有格式规范缓存的容器。 | | **输出** | **输出** | | Filesink | 将生成的数据流存储在 /opt/video.mp4文件中。 | | Playback | 从主机拉取 video.mp4并在媒体播放器上播放：
`scp root@ target device>:/opt/ directory>` | ## 使用 qtivcomposer 混合原始帧与边框遮罩运行用例： gst-launch-1.0 -e \ qtiqmmfsrc name=camsrc ! video/x-raw,format=NV12_Q08C,width=1280,height=720,framerate=30/1 ! queue ! tee name=split \ split. ! queue ! qtivcomposer name=mixer ! queue ! video/x-raw,format=NV12,width=1920,height=1080,interlace-mode=progressive,colorimetry=bt601 ! \ v4l2h264enc capture-io-mode=4 output-io-mode=5 ! h264parse ! queue ! mp4mux ! queue ! filesink location=/etc/media/video.mp4 \ split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=external external-delegate-path=libQnnTFLiteDelegate.so \ \external-delegate-options="QNNExternalDelegate,backend_type=htp;" model=/etc/models/yolov5.tflite ! queue ! \ qtimlvdetection threshold=75.0 results=10 module=yolov5 labels=/etc/labels/yolov5.labels \ constants="YoloV5,q-offsets=<3.0>,q-scales=<0.005047998391091824>;" ! video/x-raw,format=BGRA,width=640,height=360 ! queue ! mixer.Copy to clipboard 要停止用例，请按 CTRL + C。下图展示了用例执行流程： 1. 从摄像头源传来的视频流中识别目标场景。 2. 使用 qtivcomposer，在检测到的目标和原始视频流上组合边界框。 3. 将此流编码为 H.264 码流。 4. 多路复用 MP4 容器中的数据流并将其存储为 MP4 文件。 Figure : 使用 qtivcomposer 进行边框遮罩和编码的 pipeline 下表列出了 pipeline 执行的顺序处理阶段： | 处理过程 | 说明 | | --- | --- | | [qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtiqmmfsrc.html) |

采集视频流（源）并创建源的两个副本：
- 一个视频流被发送到 qtimetamux 插件以保留视频流。
- 另一个视频流被发送到 ML 推理 pipeline。

| | **预处理** | **预处理** | | [qtimlvconverter](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlvconverter.html) |

在其接收端口上接收视频流。

执行预处理：
- 颜色转换
- 缩小/放大
- 在模型需要浮点值作为输入时，对流数据进行归一化

在其发送端口上将视频流转换为张量数据。
目标检测模型使用此张量数据进行推理。

| | **推理** | **推理** | | [qtimltflite](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimltflite.html) |

加载目标检测模型。

为选择的 delegate 修改图。

在其接收端口上接收张量数据。

运行推理并在其发送端上生成带有目标检测结果的张量数据。

| | **后处理** | **后处理** | | [qtimlvdetection](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlvdetection.html) |

接收来自目标检测模型的推理张量。

将接收端口上的推理张量转换为视频或文本等格式，稍后可由多媒体插件进行处理。

将阈值应用于所选的结果数。

加载检测模型的相应模块。
在此用例中，qtimlvdetection 执行以下操作：
1. 加载 YOLOv5 子模块。
2. 生成包含可叠加在目标上的边框的视频帧。
3. 将它们发送至 qtivcomposer 的接收端口。

| | [qtivcomposer](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtivcomposer.html) |

在其接收端上接收原始视频流和带有边框的视频流

在其发送端口上，生成在其接收端口处理的视频流所组成的内容。

| | [v4l2h264enc](https://docs.qualcomm.com/doc/80-70020-50SC/topic/v4l2h264enc.html) |

将参数应用于在接收端口上接收到的视频流的每一帧。

将其编码为码流，并通过其发送端口发送。

| | h264parse | 向 GStreamer 缓存元数据添加更多码流信息。 | | mp4mux | 接收这些缓存并创建具有格式规范缓存的容器。 | | **输出** | **输出** | | Filesink | 将生成的数据流存储在 /etc/media/video.mp4文件中。 | | Playback | 从主机拉取 video.mp4并在媒体播放器上播放：
`scp root@ target device>:/etc/ directory>` | **Parent Topic:** [LiteRT 用例](https://docs.qualcomm.com/doc/80-70020-50SC/topic/tensorflow-lite-use-cases.html) Last Published: Jul 23, 2025 [Previous Topic 使用 LiteRT 进行目标检测和显示](https://docs.qualcomm.com/bundle/publicresource/80-70020-50SC/topics/single-camera-stream-with-object-detection-and-display.md) [Next Topic 使用 LiteRT 进行图像分割和显示](https://docs.qualcomm.com/bundle/publicresource/80-70020-50SC/topics/single-camera-stream-with-image-segmentation-and-display.md)