# 为定制模型添加后处理支持
本指南介绍了如何在 Qualcomm IM SDK pipeline 中添加模型后处理支持。如果 Qualcomm IM SDK 插件不支持模型的后处理，这是很有必要的。
本节涵盖以下主题。
1. [AI IM SDK pipeline 概述](https://docs.qualcomm.com/doc/80-70022-15BY/topic/add-postprocessing-support-custom-model.html#ai-im-sdk-pipeline)。
2. [qtimlpostprocess 插件介绍](https://docs.qualcomm.com/doc/80-70022-15BY/topic/add-postprocessing-support-custom-model.html#postprocessing-plugin-introduction)
3. [如何编写后处理模块](https://docs.qualcomm.com/doc/80-70022-15BY/topic/add-postprocessing-support-custom-model.html#write-postprocessing-module)。
4. [如何编译后处理模块](https://docs.qualcomm.com/doc/80-70022-15BY/topic/add-postprocessing-support-custom-model.html#compile-postprocessing-module)。
5. [如何部署和测试后处理模块](https://docs.qualcomm.com/doc/80-70022-15BY/topic/add-postprocessing-support-custom-model.html#deploy-test-postprocessing-module)。
此示例说明了将自定义 YoloV8 模型后处理添加到 `qtimlpostprocesss` 插件的步骤。
下图显示了添加您自己的后处理模型的过程，从开发和集成模型到运行参考应用程序。
## AI IM SDK pipeline 概述
Qualcomm Intelligent Multimedia SDK (IM SDK) 包含构建 AI、多媒体和机器视觉 pipeline 以构建应用程序所需的构建块。
使用 IM SDK 构建 AI 工作流涉及三个关键的 GStreamer 插件。
1. 预处理元素：将传入的数据流转换为适合 AI 推理的张量格式。
2. 推理元素：使用 AI 模型执行推理，并对输出张量应用去量化。此元素除了去量化之外不执行任何预处理或后处理。
3. 后处理元素：解析输出张量并生成包含机器学习元数据的缓存。此元素通过以下方式之一输出元数据。
- 使用 `qtimetamuxer` 将其附加到源流
- 将其直接流传输到 RTSP、RTMP 或 Redis 等端点。
- 作为图像遮罩，使用 `qtivcomposer` 叠加在源视频帧上。
示例：直接使用 ML 元数据
在以下示例中，源流不会在推理插件之后传播。
示例：将 ML 元数据附加到源视频
在以下示例中，ML 元数据已附加到源视频。叠加使用附加的 ML 元数据来绘制边界框、文本和其他视觉元素。结果显示在屏幕上或通过网络传输。
示例：将 ML 元数据转换为图像遮罩
在以下示例中，ML 元数据已转换为图像遮罩，然后覆盖在源流之上。
## IM SDK 中的 AI 后处理插件简介
`qtimlpostprocess` 是一个可自定义的插件，它提供了一个库接口，用于对推理插件的张量输出进行后处理。后处理库负责张量解析并输出预测列表。
后处理 (PP) 模块处理一种 machine learning (ML - 机器学习) 模型。每个 PP 模块处理特定类型的模型及其变体，例如所有 YOLOv8 检测模型变体。该插件管理模块的执行、输出生成（ML 元数据或图像蒙版）、批处理、ML 暂存和其他相关任务。
下图显示了输入、输出、后处理模块和后处理插件之间的关系。
后处理插件支持以下模型类型：
- 目标检测
- 图像分类
- 图像分割
- 超分辨率
- 姿态估计
- 音频分类
后处理插件接收张量列表作为输入。这些张量封装在 GST 缓存中。机器学习元数据附加到每个缓存，指定张量数量、张量形状、模型输入张量形状、每个输入张量中有多少来自流的数据填充、时间戳和批处理索引等细节。
后处理插件可以生成以下格式之一：
- 文字：后处理插件将机器学习元数据序列化为文本。此元数据可以由其他插件按原样使用，或使用 `qtimetamuxer` 附加到源流。
- 图像蒙版：后处理插件可以生成带有叠加文本、边界框、点、线和其他视觉元素的图像蒙版。这是一个透明的框架，仅包含机器学习结果。
例如，如果后处理类型是目标检测，则插件会绘制带有标签的边界框。然后，`qtivcomposer` 插件可以将图像蒙版传输到源视频流上。
- 张量：后处理插件可以生成张量。当后续推理阶段需要当前推理阶段的输出张量，但张量形状不完全匹配时，使用此选项。
例如，第一阶段产生四个输出张量，下一阶段需要其中三个。
而 GStreamer pipeline caps 协商决定了输出格式。最常用的表格式是自动协商的，但您可以使用 GStreamer caps 过滤器手动指定。
该插件仅支持一个发送端口。如果 pipeline 需要同时处理两种或更多种支持的格式，请在 pipeline 中添加并运行两次后处理插件。
后处理插件配置包含以下内容（GStreamer 属性）：
- 模块：（必填）后处理模块名称。此 GStreamer 属性指定了如何解析张量。但不定义插件输出类型。输出类型是在 pipeline caps 协商期间确定的。
- 设置：（可选）JSON 字符串或 JSON 文件的路径。此配置仅适用于模块，不适用于插件。它将任意配置传递给后处理模块，因为每个模块都有特定的需求。
例如，使用它来传递置信度阈值、关键点、NMS 阈值和令牌。
- 标签：（可选）带有标签的文件路径。您可以使用换行符分隔的标签列表、JSON 格式的标签或自定义格式，将标签文件的路径直接传递给模块。头文件中提供了前两种格式的解析器，您可以在自定义格式的后处理模块中实现自己的解析器。
- 结果：（可选）例如，如果模型检测到 7 个结果，但最多允许 4 个结果，则会丢弃置信度得分最低的 3 个结果。该插件实现了此功能，因此模块开发者无需自行处理。
## 为自定义模型编写后处理模块
后处理模块是一个共享库，用于解析推理插件的张量输出。后处理 GST 插件 (`qtimlpostprocess`) 加载并运行模块。IM SDK 提供了各种开箱即用的后处理模块：
- 图像检测 (yolov5、yolov8、yolonas、ssd-mobilnet、qfd、qpd、east-textdt)
- 分类 (mobilnet、resnet、ocr、qfr)
- 姿态估计 (hrnet、lite-3dmm、posenet)
- 分割 (deeplab、midas-v2、yolov8)
- 超分辨率 (snet)
使用 `gst-inspect-1.0 qtimlpostprocess` 查看设备上支持的完整模块列表。
以下日志显示了示例输出。
module : Module name that is going to be used for processing the tensors
flags: readable, writable
Enum "GstMLPostProcessModules" Default: 0, "none"
(0): none - No module, default invalid mode
(1): ssd-mobilenet -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 10, 4
Tensor 1: 1, 10
Tensor 2: 1, 10
Tensor 3: 1
(2): hrnet -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 1-256, 1-256, 1-17
(3): srnet -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 32-4096, 32-4096
Type: FLOAT32
Tensor 0: 1, 32-4096, 32-4096, 1-3
(4): yolov8-seg -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 21-42840, 4
Tensor 1: 1, 21-42840
Tensor 2: 1, 21-42840, 1-32
Tensor 3: 1, 21-42840
Tensor 4: 1, 1-32, 32-2048, 32-2048
(5): posenet -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 5-251, 5-251, 1-17
Tensor 1: 1, 5-251, 5-251, 2-34
Tensor 2: 1, 5-251, 5-251, 4-64
(6): east-textdt -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 8-480, 8-480, 1-5
Tensor 1: 1, 8-480, 8-480, 1-5
(7): qfr -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 512
Tensor 1: 1, 32
Tensor 2: 1, 2
Tensor 3: 1, 2
Tensor 4: 1, 2
Tensor 5: 1, 2
(8): deeplab-argmax -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 32-2048, 32-2048
Type: FLOAT32
Tensor 0: 1, 32-2048, 32-2048, 1-21
(9): yolov8 -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 21-42840, 4
Tensor 1: 1, 21-42840
Tensor 2: 1, 21-42840
Type: FLOAT32
Tensor 0: 1, 4, 21-42840
Tensor 1: 1, 1-1001, 21-42840
Type: FLOAT32
Tensor 0: 1, 5-1005, 21-42840
(10): mobilenet -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 1000-1001
(11): lite-3dmm -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 512
Tensor 1: 1, 265
Type: FLOAT32
Tensor 0: 1, 265
(12): ocr -
Supported tensors:
Type: FLOAT32
Tensor 0: 26, 1, 37
Type: FLOAT32
Tensor 0: 1, 26-48, 37
(13): yolov5 -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 1-136, 1-136, 18-3018
Tensor 1: 1, 1-136, 1-136, 18-3018
Tensor 2: 1, 1-136, 1-136, 18-3018
Type: FLOAT32
Tensor 0: 1, 3, 1-136, 1-136, 6-85
Tensor 1: 1, 3, 1-136, 1-136, 6-85
Tensor 2: 1, 3, 1-136, 1-136, 6-85
Type: FLOAT32
Tensor 0: 1, 21-72828, 6-85
(14): mobilenet-softmax -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 1000-1001
(15): yolo-nas -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 21-42840, 4
Tensor 1: 1, 21-42840
Tensor 2: 1, 21-42840
Type: FLOAT32
Tensor 0: 1, 21-42840, 2
Tensor 1: 1, 21-42840, 2
Tensor 2: 1, 21-42840, 81
Type: FLOAT32
Tensor 0: 1, 5-1005, 21-42840
Type: FLOAT32
Tensor 0: 1, 21-42840, 1-1001
Tensor 1: 1, 21-42840, 4
Type: FLOAT32
Tensor 0: 1, 21-42840, 4
Tensor 1: 1, 21-42840, 1-1001
(16): qfd -
Supported tensors:
Type: UINT8, FLOAT32
Tensor 0: 1, 60, 80, 1
Tensor 1: 1, 60, 80, 1
Tensor 2: 1, 60, 80, 10
Tensor 3: 1, 60, 80, 4
Type: UINT8, FLOAT32
Tensor 0: 1, 120, 160, 1
Tensor 1: 1, 120, 160, 10
Tensor 2: 1, 120, 160, 4
Type: UINT8, FLOAT32
Tensor 0: 1, 60, 80, 4
Tensor 1: 1, 60, 80, 10
Tensor 2: 1, 60, 80, 1
Type: UINT8, FLOAT32
Tensor 0: 1, 60, 80, 1
Tensor 1: 1, 60, 80, 4
Tensor 2: 1, 60, 80, 10
(17): yamnet -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 521
(18): midas-v2 -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 256, 256, 1
Type: FLOAT32
Tensor 0: 1, 256, 256
(19): qfr-softmax -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 512
Tensor 1: 1, 32
Tensor 2: 1, 2
Tensor 3: 1, 2
Tensor 4: 1, 2
Tensor 5: 1, 2
(20): qpd -
Supported tensors:
Type: FLOAT32
Tensor 0: 1, 120, 160, 3
Tensor 1: 1, 120, 160, 12
Tensor 2: 1, 120, 160, 34
Tensor 3: 1, 120, 160, 17
Copy to clipboard
如果找不到适合您模型的后处理模块，您可以自行实现。您可以构建独立于 IM SDK 的后处理模块。要在不使用 IM SDK 的情况下构建后处理模块，您需要接口头文件和工具链。构建模块后，将其部署到设备上的 `/usr/lib/gstreamer-1.0/ml/modules/`。
后处理插件会自动检测到，用户可以在 GStreamer pipeline 中选择。
### 模块和库命名
为避免后处理模块名称重复，后处理模块共享库必须遵循 `libml-postprocess-.so` 命名约定。
例如，YoloV8 模块的共享库必须命名为 `libml-postprocess-yolov8.so`。配置后处理插件时，请使用相同的 ``。例如，`module=yolov8`。
gst-launch-1.0 -e filesrc location=/etc/media/video.mp4 ! qtdemux ! queue ! h264parse ! \
v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw,format=NV12 ! qtimlvconverter ! qtimltflite \
name=inference delegate=external external-delegate-path=libQnnTFLiteDelegate.so external-delegate-options="QNNExternalDelegate,backend_type=htp;" \
model=/etc/models/yolov8_det_quantized.tflite ! qtimlpostprocess module=yolov8 labels=/etc/labels/yolov8.json ! filesink location=/etc/data/ml-results.txt
Copy to clipboard
### AI 后处理模块推理
AI 后处理模块公开了 C++ API。由于 C++ API 无法直接从共享库加载，所以类实例化被封装在 C 函数中。此机制已在头文件中实现，因此您无需手动处理 C++ 类的实例化。您只需在模块类中实现以下 API，该类派生自 IModule 接口。
- 构造函数/析构函数：构造函数不接受任何参数，作为开发者的通用入口点。
- `Caps()`：以 JSON 格式返回模块类型和支持的张量维度。
- `Configure()`：接受标签文件的路径和包含模块特定设置的 JSON 字符串。用户通过后处理 GStreamer 插件的 settings 属性提供这些设置。
- `Process()`：解析输入张量并根据模型输出生成预测。
#### std::string Caps()
以 JSON 字符串形式返回模块类型和支持的张量形状。张量形状并非固定，而是在一个范围内定义，用方括号表示。
例如，`[1, [21, 42840], 4]` 表示第二个维度可以在 `21` 和 `42840` 之间变化。
以下代码片段是后处理模块功能的示例定义。该示例实现了目标检测后处理，采用 FLOAT32 作为张量格式，并支持一个、两个或三个张量输出。
static const char* kModuleCaps = R"(
{
"type": "object-detection",
"tensors": [
{
"format": ["FLOAT32"],
"dimensions": [
[1, [21, 42840], 4],
[1, [21, 42840]],
[1, [21, 42840]]
]
},
{
"format": ["FLOAT32"],
"dimensions": [
[1, 4, [21, 42840]],
[1, [1, 1001], [21, 42840]]
]
},
{
"format": ["FLOAT32"],
"dimensions": [
[1, [5, 1005], [21, 42840]]
]
}
]
}
)";
Copy to clipboard
支持的后处理模块类型
- object-detection
- image-classification
- image-segmentation
- super-resolution
- pose-estimation
- audio-classification
- tensor
支持的张量类型
- FLOAT32
- FLOAT16
- INT8
- UINT8
- INT16
- UINT16
- INT32
- UINT32
- INT64
- UINT64
您可以同时指定多种格式。例如：
...
{
"format": ["FLOAT32", "INT8"],
"dimensions": [
[1, 4, [21, 42840]],
[1, [1, 1001], [21, 42840]]
]
},
...
Copy to clipboard
#### bool Configure(const std::string& labels\_file, const std::string& json\_settings)
参数
| labels\_file | （可选）包含标签的文件的字符串路径。如果未提供，则字符串保留为空。 |
| --- | --- |
| json\_settings | （可选）包含模块特定设置的 JSON 字符串。用户通过后处理 GStreamer 插件的 settings 属性提供这些设置。
如果未提供，则保留为空。 |
#### bool Process(const Tensors& tensors, Dictionary& mlparams, std::any& output)
参数
| tensors | 张量形状以及输入张量的填充方式。 |
| --- | --- |
| mlparams | 张量处理的其他参数可能不适用于所有子模块。 |
| output | 采用其中一种支持格式的预测列表。
object-detection
image-classification
image-segmentation
super-resolution
pose-estimation
audio-classification
tensors
|
Note
张量输出是一种特殊情况，其中后处理插件和模块生成张量而不是预测。当两个机器学习模型链接在一起，并且第一个模型的输出张量需要在传递给下一个模型之前进行修改时，请使用此方法。
如果输出张量不需要修改，则两个推理插件可以直接链接，一个接一个，不需要后处理插件。
##### 了解后处理模块输入
后处理模块的输入分为两个字段：
- 张量：该字段保存推理输出张量并描述其结构。向量将每个输出张量表示为一个条目。例如，对于 YOLOv8，它会生成三个输出张量（框、分数、类索引），因此该向量包含四个元素。
- 类型：float、uint8 等。
- 名称：张量名称，用于在两个或多个输出张量具有相同形状时进行识别。张量名称是唯一的，确保选择的张量是准确的。
- 维度：描述张量形状。
例如，YoloV8 具有三个输出张量：
`[1,8400,4], [1,8400], [1,8400]`
- 数据：指向张量的指针。
- mlparams：张量处理的其他参数，可能不适用于所有子模块。该字段提供有关 pipeline 如何处理输入流的信息，以便解决流的分辨率和纵横比与输入张量的形状不匹配的情况。
该字段是使用 `std::any` 实现的字典。您必须知道预期的键及其对应的返回类型。使用 `std::any` 可确保返回值与给定键关联的类型匹配。使用示例：
video::Region& region =
std::any_cast(mlparams["input-tensor-region"]);
Copy to clipboard
支持的键
- 键：“input-tensor-region”
类型：video::Region
描述：该参数指示输入张量的哪个部分由来自流的实际数据填充。剩余区域被视为填充。
- 键：“input-tensor-dimensions”
类型：video::Resolution
描述：指定输入张量的大小。当后处理算法产生绝对坐标输出时，需要将绝对坐标转换为相对坐标，因为后处理模块必须输出相对坐标。
#### 生成后处理模块输出
输出是一个结果数组的数组。数组嵌套以支持批处理用例。如果没有批处理，则仅填充内部数组。内部数组大小与找到的结果数量匹配。结果始终为相对维度，结果类型取决于模块类型。
- 图像/音频分类
- 名称：类标签；图像/音频所属的预测类别或类。
- 置信度：类概率或置信度分数。
- 颜色：用于叠加插件可视化的 RGBA8888 颜色。
- Xtraparams：（可选）字典中的额外参数（键/值对），用于从模块导出任意额外结果并传递给下游。
- 目标检测
- 左、上、右、下：边界框坐标。
- 名称：类标签；图像/音频所属的预测类别或类。
- Landmarks：（可选）关键点列表；例如，人脸检测模型可以输出带有边界框的人脸点。
- 置信度：类概率或置信度分数。
- 颜色：用于叠加插件可视化的 RGBA8888 颜色。
- Xtraparams：（可选）字典中的额外参数（键/值对），用于从模块导出任意额外结果并传递给下游。
- 姿态估计
- 名称：类标签；图像/音频所属的预测类别或类。
- 置信度：类概率或置信度分数。
- 关键点：关键点向量。
- 链接：（可选）关键点之间的链接向量。
- 颜色：用于叠加插件可视化的 RGBA8888 颜色。
- Xtraparams：（可选）字典中的额外参数（键/值对），用于从模块导出任意额外结果并传递给下游。
- 图像分割和超分辨率
- 输出为图像帧/蒙版。
- 张量
- 张量列表。
#### 批处理
后处理插件会自动将张量批次拆分为单个张量。插件层负责处理批处理，您无需处理批处理用例。
例如，如果批次大小为 4，则每个批次都会自动调用模块 4 次。
#### 模块辅助工具
标签和 JSON 解析器包含在接口头文件中。您不必使用，它们是为了方便而提供的。您可以使用任何标签或 JSON 解析器，但模块必须与它们静态链接。
- 标签解析器：该解析器支持两种格式，获取带有标签的文件的路径，并自动检测格式。
- 换行符分隔格式：行号为类 ID。
- JSON 格式：您应该以此格式设置类索引、标签和可视化颜色。
此格式更灵活，因为您可以传递一些类，其余类会自动过滤掉。
- JSON 解析器：设置以 JSON 字符串形式传递。该工具用于解析设置，对于 JSON 格式，此实现用于 Qualcomm 提供的标签解析器。
#### 日志记录
后处理模块可以将日志输出到 GStreamer 日志系统，而无需直接依赖于 GStreamer。构造函数将一个日志对象传递给模块。此对象与 LOG 宏一起使用，可用于将日志直接输出到 GStreamer 日志。
支持的日志级别包括：错误、警告、信息、调试、跟踪和日志。
LOG 宏：
#define LOG(logger, level, fmt, ...)
Copy to clipboard
日志使用示例：
LOG(logger_, kError, "ML frame with unsupported postprocessing procedure!");
LOG(logger_, kLog, "Threshold: %f", threshold_);
Copy to clipboard
## 在主机上编译后处理模块
前提条件
- Ubuntu 22.04 或 Ubuntu 24.04 主机。
1. 安装所需工具。
sudo apt-get install g++-aarch64-linux-gnu
Copy to clipboard
sudo apt-get install cmake
Copy to clipboard
2. 从 CodeLinaro 下载必要的 `.h` 和 `.cc` 文件。
- [qti-json-parser.h](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-plugin-mlpostprocess/modules/qti-json-parser.h)
- [qti-labels-parser.h](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-plugin-mlpostprocess/modules/qti-labels-parser.h)
- [qti-ml-post-process.h](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-plugin-mlpostprocess/modules/qti-ml-post-proccess.h)
- [ml-postprocess-yolov8.h](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-plugin-mlpostprocess/modules/object-detection/ml-postprocess-yolov8.h)
- [ml-postprocess-yolov8.cc](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-plugin-mlpostprocess/modules/object-detection/ml-postprocess-yolov8.cc)
3. 将 IM SDK 头文件和模块源文件放在一个文件夹中。
/
ml-postprocess-yolov8.cc
ml-postprocess-yolov8.h
qti-json-parser.h
qti-labels-parser.h
qti-ml-post-process.h
Copy to clipboard
4. 创建一个 `CMakeLists.txt` 文件。例如：
cmake_minimum_required(VERSION 3.8.2)
project(QTI_OSS_ML_MODULES LANGUAGES C CXX)
set(CMAKE_INCLUDE_CURRENT_DIR ON)
# Common compiler flags.
set(CMAKE_CXX_STANDARD 17)
set(CMAKE_CXX_FLAGS "${CMAKE_C_FLAGS} -Wall -Wextra -Werror")
set(CMAKE_CXX_FLAGS "${CMAKE_C_FLAGS} -Wno-unused-parameter")
include_directories(
$
)
set(CMAKE_INCLUDE_CURRENT_DIR ON)
set(TARGET_NAME ml-postprocess-yolov8)
add_library(${TARGET_NAME} SHARED
ml-postprocess-yolov8.cc
)
Copy to clipboard
Warning
后处理模块共享库必须遵循 `libml-postprocess-.so` 命名约定。
例如，YoloV8 模块的共享库应命名为 `libml-postprocess-yolov8.so`。
5. 创建一个工具链文件，例如 `aarch64-toolchain.cmake`。例如：
set(CMAKE_SYSTEM_NAME Linux)
set(CMAKE_SYSTEM_PROCESSOR aarch64)
set(CMAKE_CXX_COMPILER aarch64-linux-gnu-g++)
set(CMAKE_CXX_FLAGS "-march=armv8-a")
Copy to clipboard
6. 配置并构建模块。
mkdir build
Copy to clipboard
cd build
Copy to clipboard
cmake -DCMAKE_TOOLCHAIN_FILE=../aarch64-toolchain.cmake ..
Copy to clipboard
cmake --build .
Copy to clipboard
## 部署并测试后处理模块
1. 将模块部署到目标设备。
1. 在主机终端上运行以下命令，将模块传输到目标设备。
scp libml-postprocess-yolov8.so root@:/opt/
Copy to clipboard
2. 在主机终端上运行以下命令，通过 SSH 进入目标设备。
ssh root@
Copy to clipboard
3. 出现提示时，输入 `oelinux123` 作为密码。
4. 在目标设备上运行以下命令（SSH 登录后），重新挂载 `/usr` 并赋予写权限：
mount -o remount,rw /usr
Copy to clipboard
5. 在目标设备上运行以下命令（SSH 登录后），将模块复制到 GStreamer 插件目录：
cp /opt/libml-postprocess-yolov8.so /usr/lib/gstreamer-1.0/ml/modules/.
Copy to clipboard
2. 在目标设备上运行 GST 检查并确认您的模块出现在支持的模块列表中。
您必须在支持的模块列表中看到您的后处理模块，且该模块支持的张量形状需符合要求。
gst-inspect-1.0 qtimlpostprocess
Copy to clipboard
3. 下载模型、标签和媒体以运行 GStreamer pipeline。
1. 下载 [yolov8.json](https://github.com/quic/sample-apps-for-qualcomm-linux/tree/main/artifacts/json_labels)。
2. 将项目 `yolov8.json` 文件复制到目标设备。
scp yolov8.json root@:/etc/labels/
Copy to clipboard
3. 下载 [video1.mp4](https://github.com/quic/sample-apps-for-qualcomm-linux/tree/main/artifacts/videos)。
4. 将项目 `video1.mp4` 文件复制到目标设备。
scp video1.mp4 root@:/etc/media/
Copy to clipboard
5. 下载 [yolov8_det_quantized.tflite](https://github.com/quic/ai-hub-models/tree/main/qai_hub_models/models/yolov8_det)。
6. 将项目 `yolov8_det_quantized.tflite` 文件复制到目标设备。
scp yolov8_det_quantized.tflite root@:/etc/models/
Copy to clipboard
4. 拥有后处理模块后，构建 GStreamer pipeline。
1. 使用 `qtimlpostprocess` 插件的 module 属性选择后处理模块。
如果您的模块需要标签文件或配置，请通过 label 和 settings 属性传递。
在以下示例 pipeline 中运行 YOLOv8 模型：
- pipeline 使用离线视频作为源。
- pipeline 使用 v4l2h264dec 解码器将视频解码为 YUV 格式。
- `qtimlvconverter` 插件预处理 YUV 帧。
- `qtimltflite` 插件使用 LiteRT YOLOv8 模型运行推理。
- 后处理插件加载 YOLOv8 模块并传递 JSON 格式的标签文件。
- pipeline 将 ML 结果保存到文件中。
gst-launch-1.0 -e filesrc location=/etc/media/video1.mp4 ! qtdemux ! queue ! h264parse ! \
v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw,format=NV12 ! qtimlvconverter ! qtimltflite \
name=inference delegate=external external-delegate-path=libQnnTFLiteDelegate.so external-delegate-options="QNNExternalDelegate,backend_type=htp;" \
model=/etc/models/yolov8_det_quantized.tflite ! qtimlpostprocess module=yolov8 labels=/etc/labels/yolov8.json ! filesink location=/etc/data/ml-results.txt
Copy to clipboard
Last Published: Nov 05, 2025
[Previous Topic
在应用程序中集成 AI Hub 模型](https://docs.qualcomm.com/bundle/publicresource/80-70022-15BY/topics/integrate-ai-hub-models.md) [Next Topic
使用 AI Hub 模型和标签与 GStreamer API](https://docs.qualcomm.com/bundle/publicresource/80-70022-15BY/topics/ai-hub-qualcomm-im-sdk.md)