# 多流批量推理
Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/multistream-batch-inference.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/multistream-batch-inference.html)
**gst-ai-multistream-batch-inference** 应用程序显示对来自视频文件的最多 24 个输入流的批量 AI 推理（目标检测和分割）。
Note: 此应用程序不适用于 Ubuntu Server。
下图展示了一个 pipeline：接收多个输入流，对其进行预处理，运行 AI 推理，将流与推理相结合，并将其合并为单个视频输出。
每个 SoC 支持的最大输入流数量如下：
- QCS6490–8
- Dragonwing IQ-8275–4
- Dragonwing IQ-9075–4
Note: Dragonwing IQ-8275 不支持 Ubuntu Server。
输出结果可显示在 HDMI 显示器上，或保存为 H.264 编码的 MP4 文件。
有关该 pipeline 中使用的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70022-50SC/topic/multistream-batch-inference.html#multistream-batch-inference__section_lnx_1np_rcc)。
Figure : gst-ai-multistream-batch-inference pipeline
## 示例模型和标签文件
| Runtime | 模型文件 | 标签文件 |
| --- | --- | --- |
| LiteRT |
- 分割：deeplabv3_plus_mobilenet_quantized.tflite
- 目标检测：yolov8_det_quantized.tflite
|
- 分割：deeplabv3_resnet50.json
- 目标检测：yolov8.json
|
| Qualcomm AI Engine Direct |
- 分割：deeplabv3_plus_mobilenet_quantized.bin
- 目标检测：yolov8_det_quantized.bin
|
- 分割：deeplabv3_resnet50.json
- 目标检测：yolov8.json
|
| Qualcomm Neural Processing SDK |
- 分割：deeplabv3_plus_mobilenet_quantized.dlc
- 目标检测：yolov8_det_quantized.dlc
|
- 分割：deeplabv3_resnet50.json
- 目标检测：yolov8.json
|
| | | |
| | | |
## 在目标设备上运行应用程序
示例应用程序使用 /etc/configs/config-multistream-batch-inference.json文件读取输入参数。
要创建自己的 config JSON 文件，请使用 [config-multistream-batch-inference.json](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-sample-apps/gst-ai-multistream-batch-inference/config-multistream-batch-inference.json) 作为参考。
1. 确保您已完成[前提条件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/download-model-and-label-files.html)。
2. 根据模型、输入流和其他属性更新 config JSON 文件。关于更多详细信息，请参阅 [Config JSON 字段说明](https://docs.qualcomm.com/doc/80-70022-50SC/topic/multistream-batch-inference.html#multistream-batch-inference__section_axy_ntn_q2c)。
3. 使用以下格式的 `config-multistream-batch-inference.json`文件：
对于 16 和 24 个流，请在 `pipeline-info`参数中添加所需元素。对于每个添加的批次， `id`参数的取值范围为 0 到 5。
{
“output-type”: “wayland or filesink”,
"out-file":"",
“pipeline-info”:[
{
"id": "",
“Input type”: “”,
“input-file-path”: [
{
“”
}
],
"mlframework": "",
"model-path": "",
"labels": "",
"post processing plugin": "< qtimlvdetection or qtimlvsegmentation>"
}
]
}Copy to clipboard
例如，使用 LiteRT 模型、视频文件源、标签路径和 qtimlpostprocess 后处理插件运行应用程序并在 Wayland 输出。
{
"output-type":"wayland",
"pipeline-info":[
{
"id":0,
"input-type":"file",
"input-file-path":[
{
"stream-0":"/etc/media/video.mp4",
"stream-1":"/etc/media/video.mp4",
"stream-2":"/etc/media/video.mp4",
"stream-3":"/etc/media/video.mp4"
}
],
"mlframework":"tflite",
"model-path":"/etc/models/yolov8_det_quantized.tflite",
"labels-path":"/etc/labels/yolov8.json",
"post-process-plugin": "qtimlvdetection"
}
]
}Copy to clipboard
4. 运行 gst-ai-multistream-batch-inference 应用程序：
gst-ai-multistream-batch-inference --config-file=/etc/configs/config-multistream-batch-inference.jsonCopy to clipboard
5. 要显示可用的帮助选项，请在 SSH shell 中运行以下命令：
gst-ai-multistream-batch-inference -hCopy to clipboard
6. 要停止用例，请按 CTRL +
C。
## 预期输出
Figure : gst-ai-multistream-batch-inference 的预期输出 - 预览
## Pipeline 流
下表列出了多流批量推理 pipeline 中使用的插件：
| 插件 | 说明 |
| --- | --- |
| 文件源：filesrc |
- 使用 filesrc 采集视频流，然后使用 qtdemux 对视频流进行解复用。
- 使用 tee 拆分流进行推理。
|
| h264parse | 渲染 H.264 视频。 |
| [v4l2h264dec](https://docs.qualcomm.com/doc/80-70022-50SC/topic/v4l2h264dec.html) | 解码视频 |
| [qtibatch](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtibatch.html) | |
| [qtimlvconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlvconverter.html) |
- 在其接收端口上接收批量视频流。
- 对流数据执行以下预处理。当模型需要浮点值作为输入时，会执行此预处理。
- 颜色转换
- 缩放（放大或缩小）
- 归一化
张量数据流用于 pipeline 后期的推理。 |
| [qtimltflite](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimltflite.html) |
- 推理 runtime 在其接收端口上接收到张量数据后，会运行推理。
- 生成一个张量数据流，并在其发送端口上显示推理结果。
|
| qtimldemux |
- 对批量输出进行解复用。
- 分割与输入流相对应的输出。
|
| 后处理插件 | qtimlpostprocess 将接收端口上收到的推理张量转换为视频格式，由多媒体插件进行后续处理。 |
| [qtivcomposer](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtivcomposer.html) |
- 将接收端口获取的内容组成帧。
- 将包含这些组合帧的 GStreamer 缓存推送到其发送端口。
|
| [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |
- Waylandsink 将其接收端口上接收的视频流提交给 Weston。
- Weston 在本地显示器上渲染视频流。
|
| Filesink | 在其接收端口上接收视频流并将其保存为 H.264 编码的 MP4 文件。 |
## Config JSON 字段说明
可用于配置 JSON 文件和运行用例的不同参数如下：
Table : 字段说明 - gst-ai-multistream-batch-inference 文件
| 字段 | 值/描述 |
| --- | --- |
| **output type** | 请使用以下输出类型之一：
Wayland：在 Weston 上显示输出。
filesink：将输出编码为视频文件。
|
| **out-file** | 保存输出文件的文件路径。 |
| **pipeline -info** | 提供 pipeline 信息：
Stream id：范围从 0 到 5。
Input-type：输入源文件。
Input-file-path：输入文件路径数组。
|
| **mlframework** | 需要 `tflite`、`qnn` 或 `snpe`。 |
| **model-path** | 模型文件路径。 |
| **labels-path** | 标签文件的路径。 |
## 已知问题
- 在批量大小为 4 的模型中观察到 FPS 下降。
- 使用 8 个流时，在 IQ8275 和 IQ9075 上观察到分段错误。
## 相关信息
- [目标检测](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-object-detection.html)
- [图像分割](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-segmentation.html)
**Parent Topic:** [运行 AI/ML 示例应用程序](https://docs.qualcomm.com/doc/80-70022-50SC/topic/ai-ml-sample-applications.html)
Last Published: Nov 05, 2025
[Previous Topic
多流推理](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/multistream-inference.md) [Next Topic
AI 智能 codec](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/ai-smart-codec.md)