# 使用 Python 进行并行推理
Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/parallel-inference-using-python.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/parallel-inference-using-python.html)
**gst-parallel-inference.py** 应用程序接收来自摄像头、文件或 RTSP 流的视频输入，并将其发送给 AI 模型执行四通道并行处理（分类、目标检测、姿态检测和分割）。输出显示为带有叠加 AI 模型的预览。
Figure : gst-parallel-inference.py pipeline
有关该 pipeline 中使用的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70022-50SC/topic/parallel-inference-using-python.html#parallel-inference-using-python__section_gcg_r3s_lbc)。
## 模型和标签文件
下表列出了运行应用程序之前设备上应可用的模型和标签文件。
Table : gst-parallel-inference.py 的默认模型和标签文件
| 推理 | 模型目录 | 标签目录 |
| --- | --- | --- |
| 目标检测 | /etc/models/yolox\_quantized.tflite | /etc/labels/yolox.json |
| 姿态估计 | /etc/models/hrnet\_pose\_quantized.tflite |
- etc/labels/hrnet_pose.json
- hrnet_settings.json
|
| 分割 | /etc/models/deeplabv3\_plus\_mobilenet\_quantized.tflite | /etc/labels/deeplabv3\_resnet50.json |
| 分类 | /etc/models/inception\_v3\_quantized.tflite | /etc/labels/classification.json |
## 在目标设备上运行应用程序
1. 确保您已完成[前提条件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/prerequisites-for-python-sample-applications.html)。
2. 确保[模型和标签文件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/parallel-inference-using-python.html#parallel-inference-using-python__section_sz5_51j_pdc)在目标设备上可用。
3. 重命名 EVK 上的标签文件：
cp /etc/labels/yolonas.json /etc/labels/yolox.jsonCopy to clipboard
Note: 对于 Ubuntu Server，使用 `sudo` 运行上述命令。
4. 运行用例：
- 来自摄像头的输入：
gst-parallel-inference.py --cameraCopy to clipboard
- 从文件输入：
gst-parallel-inference.py --file "/etc/media/video.mp4"Copy to clipboard
- 来自 RTSP
流的输入：
gst-parallel-inference.py --rtsp "rtsp://:/"Copy to clipboard
Note: 如果观察到性能下降，您可以使用 YOLOv8 LiteRT 模型。有关 YOLOv8
导出说明，请参阅[前提条件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/download-model-and-label-files.html)中的步骤
6。
5. 要显示可用的帮助选项，请运行以下命令：
gst-parallel-inference.py -hCopy to clipboard
## 预期输出
执行四个并行推理后，结果将并排显示在屏幕上。
Figure : gst-ai-parallel-inference.py 应用程序的预期输出
## Pipeline 流
下表列出了并行推理 pipeline 中使用的插件：| 插件 | 说明 |
| --- | --- |
| 摄像头源：[qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtiqmmfsrc.html) |
- 从摄像头采集实时流。
- 使用 tee 拆分流进行推理。
|
| 文件源：filesrc |
- 使用 filesrc 采集视频流，然后使用 qtdemux 对视频流进行解复用。
- 使用 tee 拆分流进行推理。
|
| RTSP 源：rtspsrc |
- 使用 rtspsrc 采集 RTSP 流，然后使用 rtph264depay 进行视频提取。
- 使用 tee 拆分流进行推理。
|
| h264parse | 渲染 H.264 视频。 |
| [v4l2h264dec](https://docs.qualcomm.com/doc/80-70022-50SC/topic/v4l2h264dec.html) | 解码视频 |
| [qtimlvconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlvconverter.html) |
- 在其接收端口上接收视频流。
- 对流数据执行以下预处理。当模型需要浮点值作为输入时，会执行此预处理。
- 颜色转换
- 缩放（放大或缩小）
- 归一化
张量数据流用于 pipeline 后期的推理。 |
| [qtimltflite](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimltflite.html) |
- 推理 runtime 在其接收端口上接收到张量数据后，会运行推理。
- 生成一个张量数据流，并在其发送端口上显示推理结果。
|
| 后处理插件 | 处理来自任何目标检测、分类、姿态检测和分割模型的推理结果。
- qtimlpostprocess 用于检测用例
- 将阈值应用于所选结果数。
- 加载 YOLOv8 模块。
- 生成仅包含边界框的视频帧，这些框可以叠加在目标上，并将它们发送到 qtivcomposer 的接收端口。
- qtimlpostprocess 用于分类用例
- 将阈值应用于所选的结果数。
- 加载 MobileNet-softmax 模块。
- 将结果生成为带有分类标签的视频帧，并将它们发送到 qtivcomposer 的接收端口。
- qtimlpostprocess 用于姿态估计用例
- 将阈值应用于所选的结果数。
- 为各种姿态估计模型加载相应的模块。对于本节中描述的用例，qtimlpostprocess 加载 HRNet 模块。
- 将结果生成为带绘制姿势的视频帧，并将它们发送到 qtivcomposer 的接收端口。
- qtimlpostprocess 用于分割用例：将接收端口上接收到的推理张量转换为视频格式，由多媒体插件进行后续处理。
|
| [qtivcomposer](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtivcomposer.html) |
- 将接收端口获取的内容组成帧。
- 将包含这些组合帧的 GStreamer 缓存推送到其发送端口。
|
| [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |
- Waylandsink 将其接收端口上接收的视频流提交给 Weston。
- Weston 在本地显示器上渲染视频流。
|
## 相关信息
[并行推理](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-parallel-inference.html)
**Parent Topic:** [运行基于 Python 的应用程序](https://docs.qualcomm.com/doc/80-70022-50SC/topic/python-sample-applications.html)
Last Published: Nov 05, 2025
[Previous Topic
目标检测、分类和分割](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/object-detection-classification-and-segmentation-python-sample-app.md) [Next Topic
使用 Python 进行菊花链检测和姿态检测](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/daisy-chain-detection-and-pose-detection-using-python.md)