# 并行推理
Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-parallel-inference.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-parallel-inference.html)
**gst-ai-parallel-inference** 应用程序可以对来自不同源（例如摄像头、文件或 RTSP 网络）的输入流执行目标检测、目标分类、姿态检测和图像分割。这些用例实施 LiteRT 模型进行目标检测、图像分割、分类和姿态检测。
下图显示了一个 pipeline，该 pipeline 从摄像头、文件或 RTSP 流接收输入流，对四个用例执行并行推理，并在屏幕上并排显示结果。
有关 pipeline 流中使用的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-parallel-inference.html#gst-ai-parallel-inference__section_gcg_r3s_lbc)。
Figure : gst-ai-parallel-inference pipeline
## 示例模型和标签文件
Table : gst-ai-parallel-inference 的示例模型和标签文件
| 应用程序 | 模型文件 | 标签文件 |
| --- | --- | --- |
| 目标检测 | yolox_quantized.tflite | yolox.json |
| 姿态估计 | hrnet_pose_quantized.tflite |
- hrnet_pose.json
- hrnet_settings.json
|
| 分割 | deeplabv3_plus_mobilenet_quantized.tflite
| deeplabv3_resnet50.json |
| 分类 | inception_v3_quantized.tflite | classification.json |
## 在目标设备上运行应用程序
示例应用程序使用 /etc/configs/config-parallel-inference.json文件读取输入参数。
要创建您自己的 config JSON 文件，请使用 [config-parallel-inference.json](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-sample-apps/gst-ai-parallel-inference/config-parallel-inference.json) 作为参考。
1. 确保您已完成[前提条件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/download-model-and-label-files.html)。
2. 根据模型、输入流和其他属性更新 config JSON 文件。关于更多详细信息，请参阅 [Config JSON 字段说明](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-parallel-inference.html#gst-ai-parallel-inference__section_hwy_xqm_nfc)。
对于 QCS6490，如果配置文件中*不*存在 `file-path` 和 `rtsp-ip-port`，则选择摄像头输入。
3. 使用以下格式的 config-parallel-inference.json文件：
{
"camera": "",
"file-path": "",
"rtsp-ip-port": "",
"detection-model": "",
"detection-labels": "",
"pose-model": "",
"pose-labels": "",
"pose-settings-path": "",
"segmentation-model": "",
"segmentation-labels": "",
"classification-model": "",
"classification-labels": ""
}Copy to clipboard
例如，使用自定义视频输入文件、模型路径和标签路径运行应用程序：
{
"file-path": "/etc/media/video.mp4",
"detection-model": "/etc/models/yolox_quantized.tflite",
"detection-labels": "/etc/labels/yolox.json",
"pose-model": "/etc/models/hrnet_pose_quantized.tflite",
"pose-labels": "/etc/labels/hrnet_pose.json",
"pose-settings-path": "/etc/labels/hrnet_settings.json",
"segmentation-model": "/etc/models/deeplabv3_plus_mobilenet_quantized.tflite",
"segmentation-labels": "/etc/labels/deeplabv3_resnet50.json",
"classification-model": "/etc/models/inception_v3_quantized.tflite",
"classification-labels": "/etc/labels/classification.json"
}Copy to clipboard
4. 运行 gst-ai-parallel-inference
应用程序：
gst-ai-parallel-inference --config-file=/etc/configs/config-parallel-inference.jsonCopy to clipboard
Note: 如果观察到性能下降，您可以使用 YOLOv8 LiteRT 模型。有关 YOLOv8
导出说明，请参阅[前提条件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/download-model-and-label-files.html)中的步骤
6。
5. 要显示可用的帮助选项，请在 SSH shell 中运行以下命令：
gst-ai-parallel-inference -hCopy to clipboard
6. 要停止用例，请按 CTRL +
C。
## 预期输出
执行四个并行推理后，结果将并排显示在屏幕上。
Figure : gst-ai-parallel-inference 应用程序的预期输出
## Pipeline 流
下表列出了并行推理 pipeline 中使用的插件：| 插件 | 说明 |
| --- | --- |
| 摄像头源：[qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtiqmmfsrc.html) |
- 从摄像头采集实时流。
- 使用 tee 拆分流进行推理。
|
| 文件源：filesrc |
- 使用 filesrc 采集视频流，然后使用 qtdemux 对视频流进行解复用。
- 使用 tee 拆分流进行推理。
|
| RTSP 源：rtspsrc |
- 使用 rtspsrc 采集 RTSP 流，然后使用 rtph264depay 进行视频提取。
- 使用 tee 拆分流进行推理。
|
| h264parse | 渲染 H.264 视频。 |
| [v4l2h264dec](https://docs.qualcomm.com/doc/80-70022-50SC/topic/v4l2h264dec.html) | 解码视频 |
| [qtimlvconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlvconverter.html) |
- 在其接收端口上接收视频流。
- 对流数据执行以下预处理。当模型需要浮点值作为输入时，会执行此预处理。
- 颜色转换
- 缩放（放大或缩小）
- 归一化
张量数据流用于 pipeline 后期的推理。 |
| [qtimltflite](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimltflite.html) |
- 推理 runtime 在其接收端口上接收到张量数据后，会运行推理。
- 生成一个张量数据流，并在其发送端口上显示推理结果。
|
| 后处理插件 | qtimlpostprocess 处理来自任何目标检测、分类、姿态检测和分割模型的推理结果。
- qtimlpostprocess 用于检测用例：
- 将阈值应用于所选结果数。
- 加载 YOLOv8 模块。
- 生成仅包含边界框的视频帧，这些框可以叠加在目标上，并将它们发送到 qtivcomposer 的接收端口。
- qtimlpostprocess 用于分类用例：
- 将阈值应用于所选的结果数。
- 加载 MobileNet-softmax 模块。
- 将结果生成为带有分类标签的视频帧，并将它们发送到 qtivcomposer 的接收端口。
- qtimlpostprocess 用于姿态估计用例：
- 将阈值应用于所选的结果数。
- 为各种姿态估计模型加载相应的模块。对于本节中描述的用例，qtimlpostprocess 加载 HRNet 模块。
- 将结果生成为带绘制姿势的视频帧，并将它们发送到 qtivcomposer 的接收端口。
- qtimlpostprocess 用于分割用例：将接收端口上接收到的推理张量转换为视频格式，由多媒体插件进行后续处理。
|
| [qtivcomposer](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtivcomposer.html) |
- 将接收端口获取的内容组成帧。
- 将包含这些组合帧的 GStreamer 缓存推送到其发送端口。
|
| [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |
- Waylandsink 将其接收端口上接收的视频流提交给 Weston。
- Weston 在本地显示器上渲染视频流。
|
## Config JSON 字段说明
可用于配置 JSON 文件和运行用例的不同参数如下：
Table : 字段描述 - config-parallel-inference.json 文件
| 字段 | 值/描述 |
| :--- | :--- |
| **Input source** | 请使用以下输入源之一：
camera：主 (0) 或辅助 (1)。
file-path：视频文件的目录路径。
rtsp-ip-port：RTSP 流地址：rtsp://<ip>:<port>/<stream>
|
| **Models and labels** |
detection-model：检测模型的路径。
detection-labels：检测标签的路径。
pose-model：姿态模型的路径。
pose-labels：姿态标签的路径。
segmentation-model：分割模型的路径。
segmentation-labels：分割标签的路径。
classification-model：分类模型的路径。
classification-labels：分类标签的路径。
|
## 已知问题
- 即使画面中有许多人，也只能识别一个人的姿态。
- Inception V3 模型不包含人物类。该模型在 Imagenet 数据集上训练，并用于分类。
- 使用摄像头源在长时间运行场景中观察到滞后。
## 相关信息
- [使用 Python 进行并行推理](https://docs.qualcomm.com/doc/80-70022-50SC/topic/parallel-inference-using-python.html)
- [图像分类](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-classification.html)
- [目标检测](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-object-detection.html)
- [姿态检测](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-pose-detection.html)
- [图像分割](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-segmentation.html)
**Parent Topic:** [运行 AI/ML 示例应用程序](https://docs.qualcomm.com/doc/80-70022-50SC/topic/ai-ml-sample-applications.html)
Last Published: Nov 05, 2025
[Previous Topic
使用 Python 和容器进行图像分割](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/image-segmentation-using-python.md) [Next Topic
多输入/输出目标检测](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/gst-ai-multi-input-output-object-detection.md)