# 目标检测
Source: [https://docs.qualcomm.com/doc/80-70015-50SC/topic/gst-ai-object-detection.html](https://docs.qualcomm.com/doc/80-70015-50SC/topic/gst-ai-object-detection.html)
**gst-ai-object-detection** 程序可以检测图像和视频中的对象。这些用例展示了如何使用 Qualcomm Neural Processing SDK runtime 执行 [YOLOv5](https://github.com/ultralytics/yolov5)、[YOLOv8](https://github.com/ultralytics/ultralytics) 和 [YOLO-NAS](https://github.com/Deci-AI/super-gradients/blob/master/YOLONAS.md)，以及如何使用 TFLite runtime 执行 YOLOv5 和 YOLOv8。
下图显示了一个接收来自实时摄像头源、文件或 RTSP 流的输入，执行预处理，在 AI 硬件上运行推理，并在屏幕上显示结果的 pipeline。有关 pipeline 流程中使用的插件的信息，可参见[Pipeline 流程](https://docs.qualcomm.com/doc/80-70015-50SC/topic/gst-ai-object-detection.html#gst-ai-object-detection__section_p2w_33y_kbc)。
Figure : gst-ai-object-detection pipeline
本视频引导开发者设置实时摄像头源、实现预处理步骤、在专用硬件上执行 AI 推理以及实时显示检测结果。
## 前提条件
- 要运行应用程序，需将模型和标签文件推送到设备。有关下载模型的信息，可参见以下内容：
- [下载 Qualcomm Neural Processing SDK 的模型和标签文件](https://docs.qualcomm.com/doc/80-70015-50SC/topic/ai-ml-sample-applications.html#ai-ml-sample-applications__section_chl_dgz_scc)
- [从 AI Hub 下载 TFLite 的模型和标签文件](https://docs.qualcomm.com/doc/80-70015-50SC/topic/ai-ml-sample-applications.html#ai-ml-sample-applications__section_fsl_lgz_scc)
该应用程序支持 Qualcomm Neural Processing SDK 和 TFLite 模型。
- 要访问主机设备，应启用 SSH。相关说明，可参见 [SSH 使用指南](https://docs.qualcomm.com/bundle/publicresource/topics/80-70015-254/how_to.html#how-to-ssh-)
- 进入 SSH shell 并运行用例：
ssh root@Copy to clipboard
- 启用显示器：
export XDG_RUNTIME_DIR=/dev/socket/weston && export WAYLAND_DISPLAY=wayland-1Copy to clipboard
- 从主机推送文件：
scp root@:/opt/Copy to clipboard
## 用例
Note: 对于 QCS9075，不支持摄像头用例。使用文件或 RTSP 作为输入源。
使用 Qualcomm Neural Processing SDK runtime 运行目标检测模型。默认情况下，系统运行 YOLO-NAS。
Note: 以下命令提供默认模型和标签路径。如果文件夹结构不同，应相应地替换命令行参数中的默认路径。
- YOLO-NAS 使用 Qualcomm Neural Processing SDK runtime 和来自文件的输入。在执行命令之前，将 video.mp4 文件推送到 opt 文件夹中：
gst-ai-object-detection --file-path=/opt/video.mp4 --ml-framework=1 --yolo-model-type=3 --model=/opt/yolonas.dlc --labels=/opt/yolonas.labelsCopy to clipboard
- 使用 Qualcomm Neural Processing SDK runtime 运行目标检测模型：
gst-ai-object-detection --yolo-model-type=3 --model=/opt/yolonas.dlc --labels=/opt/yolonas.labelsCopy to clipboard
gst-ai-object-detection --file-path=/opt/video.mp4 --yolo-model-type=3 --model=/opt/yolonas.dlc --labels=/opt/yolonas.labelsCopy to clipboard
- 使用 TFLite runtime 运行目标检测模型：
cp /opt/yolonas.labels /opt/yolov8.labelsCopy to clipboard
gst-ai-object-detection -t 2 -f 2 --model=/opt/yolov8_det_quantized.tflite --labels=/opt/yolov8.labels -k "YOLOv8,q-offsets=<-107.0, -128.0, 0.0>,q-scales=<3.093529462814331, 0.00390625, 1.0>;"Copy to clipboard
gst-ai-object-detection -t 2 -f 2 --model=/opt/Yolo-NAS-Quantized.tflite -k "YOLO-NAS,q-offsets=<37.0, 0.0, 0.0>,q-scales=<3.416602611541748, 0.00390625, 1.0>;"Copy to clipboard
对于 YOLO-NAS TFLite 模型，使用 `-t 2`。
- 使用不同 runtime 和来自 RTSP 的输入进行目标检测：
gst-ai-object-detection --rtsp-ip-port=rtsp:///30fps.mkv --ml-framework=2 --yolo-model-type=2 --use_cpuCopy to clipboard
gst-ai-object-detection --rtsp-ip-port=rtsp:///30fps.mkv --ml-framework=2 --yolo-model-type=2 --use_gpuCopy to clipboard
gst-ai-object-detection --rtsp-ip-port=rtsp:///30fps.mkv --ml-framework=2 --yolo-model-type=2 --use_dspCopy to clipboard
显示可用的帮助选项：
gst-ai-object-detection -hCopy to clipboard
如需停止用例，可按下 CTRL + C。
## 预期输出
将显示检测到的目标对象。
Figure : gst-ai-object-detection 程序的预期输出
## Pipeline 流程
下表列出了目标检测 pipeline 中使用的插件：| 插件 | 说明 |
| --- | --- |
| 摄像头源：[qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70015-50SC/topic/qtiqmmfsrc.html) |
- 从摄像头采集实时流：
- 使用 tee 拆分流进行推理。
|
| 文件源：filesrc |
- 使用 filesrc 采集视频流，然后使用 qtdemux 对视频流进行解复用。
- 使用 tee 拆分流进行推理。
|
| RTSP 源：rtspsrc |
- 使用 rtspsrc 采集 RTSP 流，然后使用 rtph264depay 提取视频。
- 使用 tee 拆分流进行推理。
|
| h264parse | 解析 H.264 视频。 |
| [v4l2h264dec](https://docs.qualcomm.com/doc/80-70015-50SC/topic/v4l2h264dec.html) | 对视频进行解码。 |
| [qtimlvconverter](https://docs.qualcomm.com/doc/80-70015-50SC/topic/qtimlvconverter.html) |
- 在其接收设备接插口上接收视频流。
- 对流数据执行以下预处理。当模型使用浮点值输入时，会执行此预处理。
- 色彩转换
- 缩放（向上或向下）
- 归一化
- 将预处理的视频流转换为其源接插口上的张量数据。
张量数据用于 pipeline 后期的推理。 |
| [qtimlsnpe](https://docs.qualcomm.com/doc/80-70015-50SC/topic/qtimlsnpe.html) | qtimlsnpe ML 推理插件与 Qualcomm Neural Processing SDK runtime 一起使用。其具备以下特性：
- 使用模型进行目标检测。任何 YOLO 模型都可以从命令行参数运行。
- 推理 runtime 在其接收设备接插口上接收到张量数据后，运行推理。
- 生成一个张量数据，并在其源接插口上显示推理结果。
|
| [qtimlvdetection](https://docs.qualcomm.com/doc/80-70015-50SC/topic/qtimlvdetection.html) | 处理来自任何目标检测模型的推理结果。
- 将阈值应用于所选结果数。
- 加载 YOLO（YOLOv5、YOLOv8 或 YOLO-NAS）模块。
- 生成仅包含可叠加在目标对象上的边框的视频帧。
- 将这些处理过的帧发送到 qtivcomposer 的接收设备接插口。
|
| [qtivcomposer](https://docs.qualcomm.com/doc/80-70015-50SC/topic/qtivcomposer.html) |
- 从其接收设备接插口获取内容然后组成帧。
- 将包含这些组合帧的 GStreamer 缓冲区推送到其源接插口。
|
| [Waylandsink](https://docs.qualcomm.com/doc/80-70015-50SC/topic/waylandsink.html) |
- Waylandsink 将在其接收设备接插口上接收的视频流提交给 Weston。
- Weston 在本地显示器上呈现视频流。
|
## 已知问题
对于距离较远的物体，使用的模型会导致精度下降。
**Parent Topic:** [AI/ML 示例程序](https://docs.qualcomm.com/doc/80-70015-50SC/topic/ai-ml-sample-applications.html)
Last Published: Nov 11, 2025
[Previous Topic
分类](https://docs.qualcomm.com/bundle/publicresource/80-70015-50SC/topics/gst-ai-classification.md) [Next Topic
姿态检测](https://docs.qualcomm.com/bundle/publicresource/80-70015-50SC/topics/gst-ai-pose-detection.md)