# 多输入/输出目标检测
Source: [https://docs.qualcomm.com/doc/80-70018-50SC/topic/gst-ai-multi-input-output-object-detection.html](https://docs.qualcomm.com/doc/80-70018-50SC/topic/gst-ai-multi-input-output-object-detection.html)
**gst-ai-multi-input-output-object-detection** 应用程序可以对来自各种来源（如摄像头、文件或 RTSP 等网络）的多个视频流执行目标检测。
下图显示了 pipeline 工作流，该工作流从不同源（如摄像头、文件或 RTSP）采集视频流进行推理。有关 pipeline 中使用的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70018-50SC/topic/gst-ai-multi-input-output-object-detection.html#gst-ai-multi-input-output-object-detection__section_qbz_bsq_nbc)。
Figure : 多输入推理 pipeline
## 示例模型和标签文件
Table : gst-ai-multi-input-output-object-detection 的示例模型和标签文件
| Runtime | 模型文件 | 标签文件 |
| :--- | :--- | :--- |
| LiteRT | yolov5.tflite | yolov5.labels |
## 前提条件
1. 如果尚未完成，请参见[下载并安装 eSDK](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-51/install-sdk.html#download-and-install-esdk-)。
2. 下载 [YOLOv5](https://github.com/ultralytics/yolov5) 模型。
运行 yolov5.tflite 模型需要 Python 环境。
Note: 根据主机环境中的 Python 版本更新以下命令。
3. 创建 Python 3.8 虚拟环境：
sudo apt-get install python3.8Copy to clipboard
python3.8 -m venv py3.8Copy to clipboard
source py3.8/bin/activateCopy to clipboard
4. 生成 yolov5.tflite 模型：
git clone https://github.com/ultralytics/yolov5.gitCopy to clipboard
cd yolov5Copy to clipboard
python -m pip install -r requirements.txt tensorflow-cpuCopy to clipboard
python export.py --weights yolov5m.pt --img 320 --include tflite --int8 --data data/coco128.yamlCopy to clipboard
5. 在主机上，将模型推送到设备：
scp yolov5m-int8.tflite root@:/etc/models/yolov5.tfliteCopy to clipboard
6. [下载模型和标签文件](https://docs.qualcomm.com/doc/80-70018-50SC/topic/download-model-and-label-files.html)。
7. 启用 SSH 以访问您的主机设备。有关说明，请参阅[使用 SSH 登录](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-254/how_to.html#use-ssh)。
Note: 如果 SSH 已启用，则可以跳过此步骤。
8. 使用 HDMI 端口将显示器连接到设备。有关说明，请参见[设置 HDMI 显示器](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-18/samples.html)。
9. 启用显示器：
export XDG_RUNTIME_DIR=/dev/socket/weston && export WAYLAND_DISPLAY=wayland-1Copy to clipboard
10. 从 Linux 主机推送模型文件：
scp root@:/etc/modelsCopy to clipboard
如果启用摄像头或显示器时遇到问题，请参阅[摄像头故障排除](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-17/troubleshooting.html)和[显示器故障排除](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-18/debug.html)。
## 运行应用程序
YOLO-NAS 和 YOLOv5 模型在相同的 Common Objects in Context（COCO）数据集上进行训练。
进入 SSH shell 并将 YOLO-NAS 标签文件复制至 YOLOv5：
cp /etc/labels/yolonas.labels /etc/labels/yolov5.labelsCopy to clipboard
Note: 以下命令提供默认模型和标签路径。如果您的文件夹结构不同，请替换命令行参数中的默认路径。参见[示例模型和标签文件](https://docs.qualcomm.com/doc/80-70018-50SC/topic/gst-ai-parallel-inference.html#gst-ai-parallel-inference__section_pnn_hmb_4dc)。
- 对来自两个摄像头的流执行目标检测：
gst-ai-multi-input-output-object-detection --num-camera=2 --display --model=/etc/models/yolov5.tflite --labels=/etc/labels/yolov5.labelsCopy to clipboard
- 对来自文件源的流执行目标检测并显示输出：
gst-ai-multi-input-output-object-detection --num-file=2 --display --model=/etc/models/yolov5.tflite --labels=/etc/labels/yolov5.labelsCopy to clipboard
视频文件的默认源路径为 /etc/media/video1.mp4 和 /etc/media/video2.mp4。
- 对来自 RTSP 源的流执行目标检测并显示输出：
gst-ai-multi-input-output-object-detection --num-rtsp=2 --rtsp-ip-port= --display --model=/etc/models/yolov5.tflite --labels=/etc/labels/yolov5.labelsCopy to clipboard
需要为 `ip-port` 开启 live1.mkv 和 live2.mkv 流。
- 从文件中获取输入源视频流，并显示输出，如下所示：
- 在屏幕上显示输出。
- 将输出保存在文件上。
- 使用 RTSP 流通过网络发送输出。
在运行此用例之前，请确保评估套件 (EVK) 和主机连接至同一网络：
在 shell 中运行用例：
gst-ai-multi-input-output-object-detection --num-file=2 -d -f /etc/media/app.mp4 --out-rtsp --model=/etc/models/yolov5.tflite --labels=/etc/labels/yolov5.labels -i -p Copy to clipboard
如需在主机 PC 上查看 RTSP 流，请执行以下操作：
- 在主机上安装 VLC Media Player 并设置环境变量。
- 在 Linux 主机上，执行以下任一操作以查看 RTSP 流：
vlc -vvv rtsp://:/liveCopy to clipboard
ffplay -rtsp_transport tcp rtsp://:/liveCopy to clipboard
- 在 Windows 主机上，执行以下操作：
1. 打开 VLC Media Player。
2. 选择 Media > Open Network Stream 或按 CTRL +
N）。
3. 输入 `rtsp://:/live`。
4. 选择 Play
Note: 确保来自摄像头、RTSP 和文件源的输入流总数不超过 6 个。
要显示可用的帮助选项，请在 SSH shell 中运行以下命令：
gst-ai-multi-input-output-object-detection --helpCopy to clipboard
要停止用例，请按 CTRL + C。
## 预期输出
根据用例不同，结果将显示在 HDMI 屏幕上，保存为 H.264 编码的 MP4 文件，或通过 RTSP 服务器进行流传输。
Figure : gst-ai-multi-input-output-object-detection 应用程序的预期输出 - 预览
## Pipeline 流
该表列出了多输入/输出推理用例中使用的插件：| 插件 | 说明 |
| --- | --- |
| 摄像头源：[qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtiqmmfsrc.html) | |
| 文件源：filesrc | |
| RTSP 源：rtspsrc | |
| h264parse | 渲染 H.264 视频。 |
| [v4l2h264dec](https://docs.qualcomm.com/doc/80-70018-50SC/topic/v4l2h264dec.html) | 解码视频 |
| [qtimlvconverter](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimlvconverter.html) |
- 在其接收端口上接收视频流。
- 对流数据执行以下预处理。当模型需要浮点值作为输入时，会执行此操作。
- 颜色转换
- 缩放（放大或缩小）
- 归一化
张量数据流用于 pipeline 后期的推理。 |
| [qtimltflite](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimltflite.html) | 在 LiteRT 上运行并使用 yolov5.tflite 模型进行目标检测。
- 推理 runtime 在其接收端口上接收到张量数据后，会运行推理。
- 生成一个张量数据流，并在其发送端口上显示推理结果。
|
| [qtimlvdetection](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimlvdetection.html) | 将接收端口上接收到的推理张量转换为视频格式，由多媒体插件进行后续处理。 |
| [qtivcomposer](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtivcomposer.html) |
- 将接收端口获取的内容组成帧。
- 将包含这些组合帧的 GStreamer 缓存推送到其发送端口。
|
| [Waylandsink](https://docs.qualcomm.com/doc/80-70018-50SC/topic/waylandsink.html) |
- Waylandsink 将其接收端口上接收的视频流提交给 Wayland 合成器。
- 在本地显示器上渲染视频流。
|
| Filesink | 获取其接收端口上接收的视频流，并且将其另存为 H.264 编码的 MP4 文件。 |
| [qtirtspbin](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtirtspbin.html) |
- 用作网络接收器。
- 将 UDP 数据包传输到网络。
|
从目标设备拉取文件：
scp root@:/etc/media/out.mp4 Copy to clipboard
## 已知问题
- 当使用六个输入流运行应用程序时，会观察到 fps 下降。
- 在长时间运行的场景下同时运行两个摄像头时，会出现显示崩溃的情况。
**Parent Topic:** [运行 AI/ML 示例应用程序](https://docs.qualcomm.com/doc/80-70018-50SC/topic/ai-ml-sample-applications.html)
**Related Resources**
- [目标检测](https://docs.qualcomm.com/doc/80-70018-50SC/topic/gst-ai-object-detection.html)
Last Published: Nov 12, 2025
[Previous Topic
并行推理](https://docs.qualcomm.com/bundle/publicresource/80-70018-50SC/topics/gst-ai-parallel-inference.md) [Next Topic
菊花链检测与分类](https://docs.qualcomm.com/bundle/publicresource/80-70018-50SC/topics/daisy-chain-detection-and-classification.md)