# 多输入/输出目标检测
Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-multi-input-output-object-detection.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-multi-input-output-object-detection.html)
**gst-ai-multi-input-output-object-detection** 应用程序可以对来自各种来源（如摄像头、文件或 RTSP 等网络）的多个视频流执行目标检测。
下图展示了一个 pipeline 工作流：从不同源（如摄像头、文件或 RTSP）采集视频流进行推理。有关 pipeline 中使用的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-multi-input-output-object-detection.html#gst-ai-multi-input-output-object-detection__section_qbz_bsq_nbc)。
Figure : 多输入 AI 推理 pipeline
## 示例模型和标签文件
Table : gst-ai-multi-input-output-object-detection 的示例模型和标签文件
| Runtime | 模型文件 | 标签文件 |
| :--- | :--- | :--- |
| LiteRT | yolov5.tflite | yolov5.json |
## 前提条件
Note: 根据 Linux 主机中的 Python 版本更新以下命令。
- 创建 Python 3.8 虚拟环境：
sudo apt-get install python3.8Copy to clipboard
python3.8 -m venv py3.8Copy to clipboard
source py3.8/bin/activateCopy to clipboard
- 生成 yolov5.tflite模型：
git clone https://github.com/ultralytics/yolov5.gitCopy to clipboard
cd yolov5Copy to clipboard
python -m pip install -r requirements.txt tensorflow-cpuCopy to clipboard
python export.py --weights yolov5m.pt --img 320 --include tflite --int8 --data data/coco128.yamlCopy to clipboard
- 在主机的终端中，运行以下命令将模型推送到目标设备：
scp yolov5m-int8.tflite root@:/etc/models/yolov5.tfliteCopy to clipboard
如果下载脚本文件后任何模型不可用，您可以从 [IoT–](https://aihub.qualcomm.com/iot/models/)[Qualcomm AI Hub](https://aihub.qualcomm.com/iot/models/) 下载模型。
- 在主机的终端中，运行以下命令将模型文件推送到目标设备：
- 对于 Qualcomm Linux：
scp root@:/etc/modelsCopy to clipboard
- 对于 Ubuntu Server：
scp yolov5m-int8.tflite ubuntu@:/home/ubuntu
ssh ubuntu@
sudo cp /home/ubuntu/yolov5.tflite /etc/modelsCopy to clipboard
## 在目标设备上运行应用程序
Note: 以下命令提供默认模型和标签路径。如果您的文件夹结构不同，请替换 config 文件中的默认路径。参见[示例模型和标签文件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-parallel-inference.html#gst-ai-parallel-inference__section_pnn_hmb_4dc)。
示例应用程序使用 /etc/configs/config-multi-input-output-object-detection.json文件读取输入参数。
Note: 对于 Ubuntu Server，此文件默认不可用。
要创建您自己的 config JSON 文件，请使用 [config-multi-input-output-object-detection.json](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-sample-apps/gst-ai-multi-input-output-object-detection/config-multi-input-output-object-detection.json) 作为参考。
1. 确保您还完成了这些附加的[前提条件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/download-model-and-label-files.html)。
2. 根据模型、输入流和其他属性更新 config JSON 文件。关于更多详细信息，请参阅 [Config JSON 字段说明](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-multi-input-output-object-detection.html#gst-ai-multi-input-output-object-detection__section_mxw_t2r_32c)。
对于 QCS6490，如果配置文件中*不*存在 `file-path` 和 `rtsp-ip-port`，则选择摄像头输入。
3. 进入 SSH shell 并将 YOLOX 标签文件复制到 YOLOv5：
cp /etc/labels/yolox.json /etc/labels/yolov5.jsonCopy to clipboard
Note: 对于 Ubuntu Server，此步骤需要 `sudo`。
4. 使用以下格式的 config-multi-input-output-object-detection.json文件：
{
"num-camera": "",
"camera-id": "",
"input-file-path": "",
"input-rtsp-path": "",
"model": "",
"labels": "",
"output-file-path": "",
"output-ip-address": "",
"output-port-number": "",
"output-display": ""
}Copy to clipboard
例如，使用自定义视频输入文件、模型路径和标签路径运行应用程序：
{
"input-file-path":
[
"/etc/media/video1.mp4",
"/etc/media/video2.mp4"
],
"model": "/etc/models/yolov5.tflite",
"labels": "/etc/labels/yolov5.json",
"output-display": true,
"output-file-path": "/etc/media/output.mp4",
"output-ip-address": "127.0.0.1",
"output-port-number": "8554"
}Copy to clipboard
5. 运行 gst-ai-multi-input-output-object-detection 应用程序：
gst-ai-multi-input-output-object-detection --config-file=/etc/configs/config-multi-input-output-object-detection.jsonCopy to clipboard
Note: 确保来自摄像头、RTSP 和文件源的输入流总数不超过 6 个。
6. 从目标设备拉取文件：
- 对于 Linux 主机：
scp root@:/etc/media/out.mp4 Copy to clipboard
- 对于 Ubuntu Server 主机：
scp ubuntu@:/etc/media/out.mp4 Copy to clipboard
7. 要显示可用的帮助选项，请在 SSH shell 中运行以下命令：
gst-ai-multi-input-output-object-detection --helpCopy to clipboard
8. 要停止用例，请按 CTRL +
C。
## 预期输出
根据用例不同，结果将显示在 HDMI 屏幕上，保存为 H.264 编码的 MP4 文件，或通过 RTSP 服务器进行流传输。
Figure : gst-ai-multi-input-output-object-detection 应用程序的预期输出 - 预览
## Pipeline 流
下表列出了多输入/输出推理用例中使用的插件：| 插件 | 说明 |
| --- | --- |
| 摄像头源：[qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtiqmmfsrc.html) | |
| 文件源：filesrc | |
| RTSP 源：rtspsrc | |
| h264parse | 渲染 H.264 视频。 |
| [v4l2h264dec](https://docs.qualcomm.com/doc/80-70022-50SC/topic/v4l2h264dec.html) | 解码视频 |
| [qtimlvconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlvconverter.html) |
- 在其接收端口上接收视频流。
- 对流数据执行以下预处理。当模型需要浮点值作为输入时，会执行此操作。
- 颜色转换
- 缩放（放大或缩小）
- 归一化
张量数据流用于 pipeline 后期的推理。 |
| [qtimltflite](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimltflite.html) | 在 LiteRT 上运行并使用 yolov5.tflite模型进行目标检测。
- 推理 runtime 在其接收端口上接收到张量数据后，会运行推理。
- 生成一个张量数据流，并在其发送端口上显示推理结果。
|
| qtimlpostprocess | 将接收端口上接收到的推理张量转换为视频格式，由多媒体插件进行后续处理。 |
| [qtivcomposer](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtivcomposer.html) |
- 将接收端口获取的内容组成帧。
- 将包含这些组合帧的 GStreamer 缓存推送到其发送端口。
|
| [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |
- Waylandsink 将其接收端口上接收的视频流提交给 Wayland 合成器。
- 在本地显示器上渲染视频流。
|
| Filesink | 获取其接收端口上接收的视频流，并且将其另存为 H.264 编码的 MP4 文件。 |
| [qtirtspbin](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtirtspbin.html) |
- 用作网络接收器。
- 将 UDP 数据包传输到网络。
|
## Config JSON 字段说明
可用于配置 JSON 文件和运行用例的不同参数如下：
Table : 字段描述 - config-multi-input-output-object-detection.json 文件
| 字段 | 值/描述 |
| :--- | :--- |
| **Input source** | 请使用以下输入源之一：
|
| **Models and labels** | |
| **Output** | 请使用以下输出之一： |
## 已知问题
当使用六个输入流运行应用程序时，会观察到 fps 下降。如果要使用更多流，请使用 YOLOv8 模型。
## 相关信息
[目标检测](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-object-detection.html)
**Parent Topic:** [运行 AI/ML 示例应用程序](https://docs.qualcomm.com/doc/80-70022-50SC/topic/ai-ml-sample-applications.html)
Last Published: Nov 05, 2025
[Previous Topic
并行推理](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/gst-ai-parallel-inference.md) [Next Topic
菊花链检测与分类](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/daisy-chain-detection-and-classification.md)