# qtimlaclassification

Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlaclassification.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlaclassification.html)

qtimlaclassification 插件将来自 ML 推理插件（如 qtimltflite）的音频分类模型的输出张量处理为预测结果。

Note: 此插件将被弃用。

协商的 [GstCaps](https://gstreamer.freedesktop.org/documentation/gstreamer/gstcaps.html) 确定了插件输出上的已处理输出。

例如，要从 MP4 文件中推断音频结果，并将音频分类集成到原始视频帧，输出可以是以下两种形式之一：

- 图像遮罩（GstCaps：video/x-raw），可通过 qtivcomposer 将其叠加到原始图像上。
- 包含预测结果的 GStreamer 格式文本（GstCaps：text/x-raw）。

该插件使用基于 CPU 的 [Cairo](https://www.cairographics.org) 2D 图库来生成图像叠加遮罩。图像叠加遮罩允许 Cairo 在 ION/DMA 缓存中绘制预测结果。GstImageBufferPool 自定义缓存池类通过 IOCTL 命令将 ION/DMA 缓存分配给内核。

在通用文本格式中，预测结果在使用常规系统内存分配的缓存内解析为 GStreamer 格式的字符串。

插件的模块和标签属性决定了用于后处理操作的方法。

- module 属性指定了后处理模块，该模块在运行中使用包含前缀 `ml-aclassification-`的 `in
                    /usr/lib/gstreamer-1.0/ml/modules/` 的可用库动态运行
- labels 属性是一个自定义文本文件，对于必须为预测标签提供的每个机器学习检测模型都不同。

可选属性可用于调整预测结果。

- 使用 `results`属性控制显示的结果数
- 使用 `threshold`属性设置预测的置信度阈值。不显示置信度低的结果。

## 继承链

[GObject](https://docs.gtk.org/gobject/) → [GstObject](https://gstreamer.freedesktop.org/documentation/gstreamer/gstobject.html?gi-language=c) → [GstElement](https://gstreamer.freedesktop.org/documentation/gstreamer/gstelement.html?gi-language=c) → [GstBaseTransform](https://gstreamer.freedesktop.org/documentation/base/gstbasetransform.html?gi-language=c) → GstMLAudioClassification

下表提供了有关 qtimlsnpe 的端口模板和元素属性的信息。有关用例，请参见[使用 LiteRT 进行音频分类解码与显示](https://docs.qualcomm.com/doc/80-70022-50SC/topic/audio-classification-with-litert.html)。

## 端口配置

| 端口名称 | 功能 | 功能 | 功能 |
| --- | --- | --- | --- |
| SINK 模板：'sink'<br><ul class="ul" id="qtimlaclassification__ul_ulh_rm2_s2c"><br>                                    <li class="li"><em class="ph i">可用性：</em> 按需</li><br><br>                                    <li class="li"><em class="ph i">方向：</em> 接收</li><br><br>                                </ul> | neural-network/tensors | – | – |
| SRC 模板：'src'<br><ul class="ul" id="qtimlaclassification__ul_vlh_rm2_s2c"><br>                                    <li class="li"><em class="ph i">可用性：</em> 始终可用</li><br><br>                                    <li class="li"><em class="ph i">方向：</em> 发送</li><br><br>                                </ul> | video/x-raw | format： | { (string)BGRA, (string)BGRx, (string)BGR16 } |
| SRC 模板：'src'<br><ul class="ul" id="qtimlaclassification__ul_vlh_rm2_s2c"><br>                                    <li class="li"><em class="ph i">可用性：</em> 始终可用</li><br><br>                                    <li class="li"><em class="ph i">方向：</em> 发送</li><br><br>                                </ul> | video/x-raw(memory:GBM) | format： | { (string)BGRA, (string)BGRx, (string)BGR16 } |
| SRC 模板：'src'<br><ul class="ul" id="qtimlaclassification__ul_vlh_rm2_s2c"><br>                                    <li class="li"><em class="ph i">可用性：</em> 始终可用</li><br><br>                                    <li class="li"><em class="ph i">方向：</em> 发送</li><br><br>                                </ul> | text/x-raw | format： | { (string)utf8 } |
|  |  |  |  |
|  |  |  |  |

## 元素配置

Table : qtimlaclassification 的元素属性

| 属性 | 说明 |
| --- | --- |
| name | 对象名称<br><ul class="ul" id="qtimlaclassification__ul_qng_vm2_s2c"><br>                                    <li class="li">标志：可读、可写</li><br><br>                                    <li class="li">字符串。默认值："mlaudioclassification0"</li><br><br>                                </ul> |
| parent | 对象的父级<br><ul class="ul" id="qtimlaclassification__ul_rng_vm2_s2c"><br>                                    <li class="li">标志：可读、可写</li><br><br>                                    <li class="li">"GstObject" 类型的对象</li><br><br>                                </ul> |
| qos | 处理服务质量事件。<br><ul class="ul" id="qtimlaclassification__ul_sng_vm2_s2c"><br>                                    <li class="li">标志：可读、可写</li><br><br>                                    <li class="li">Boolean。默认值：false</li><br><br>                                </ul> |
| module | 用于处理张量的模块名称。<br><ul class="ul" id="qtimlaclassification__ul_tng_vm2_s2c"><br>                                    <li class="li">标志：可读、可写</li><br><br>                                    <li class="li"><br>                                        <p class="p">枚举类型 "GstMLAudioClassificationModules"，默认值：0，"none"</p><br><br>                                        <p class="p"> (0)： none - 无模块，默认无效模式</p><br><br>                                        <p class="p"> (1)： yamnet - ml-aclassification-yamnet</p><br><br>                                    </li><br><br>                                </ul> |
| labels | 标签文件名。<br><ul class="ul" id="qtimlaclassification__ul_ung_vm2_s2c"><br>                                    <li class="li">标志：可读、可写</li><br><br>                                    <li class="li">字符串。默认值：null</li><br><br>                                </ul> |
| results | 要显示的结果数量。<br><ul class="ul" id="qtimlaclassification__ul_vng_vm2_s2c"><br>                                    <li class="li">标志：可读、可写</li><br><br>                                    <li class="li">无符号整型。范围： 0~10 默认： 5</li><br><br>                                </ul> |
| threshold | 置信度阈值 (%)。<br><ul class="ul" id="qtimlaclassification__ul_wng_vm2_s2c"><br>                                    <li class="li">标志：可读、可写</li><br><br>                                    <li class="li">双精度浮点型。范围：10.0 - 100.0 默认：10.0</li><br><br>                                </ul> |

**Parent Topic:** [配置 ML 插件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/inferencing-plugins.html)

Last Published: Nov 05, 2025

[Previous Topic
qtimlvclassification](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/qtimlvclassification.md) [Next Topic
qtimlvdetection](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/qtimlvdetection.md)