# 音频分类
Source: [https://docs.qualcomm.com/doc/80-70018-50SC/topic/audio-classification.html](https://docs.qualcomm.com/doc/80-70018-50SC/topic/audio-classification.html)
**gst-ai-audio-classification** 应用程序可以对文件源和麦克风的输入执行音频分类。显示分类结果和视频预览。
该图显示了一个 pipeline，用于从文件或麦克风获取输入，在 AI 硬件上执行预处理和推理。结果将显示在屏幕上。
有关 pipeline 流中使用的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70018-50SC/topic/audio-classification.html#audio-classification__section_fdn_fmz_n2c)。
Figure : gst-ai-audio-classification pipeline
## 示例模型和标签文件
Table : gst-ai-audio-classification 的示例模型和标签文件
| Runtime | 模型文件 | 标签文件 |
| :--- | :--- | :--- |
| LiteRT | yamnet.tflite | yamnet.labels |
## 前提条件
- 如果尚未完成，请参见[下载并安装 eSDK](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-51/install-sdk.html#download-and-install-esdk-)。
- [下载模型和标签文件](https://docs.qualcomm.com/doc/80-70018-50SC/topic/download-model-and-label-files.html)。
- 要访问主机，请启用 SSH。有关说明，请参阅[使用 SSH 登录](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-254/how_to.html#use-ssh)。
Note: 如果 SSH 已启用，则可以跳过此步骤。
- 从 Linux 主机推送模型文件。
scp root@:/etc/modelsCopy to clipboard
- 请注意，[下载的脚本](https://docs.qualcomm.com/doc/80-70018-50SC/topic/download-model-and-label-files.html)会将示例 video.mp4 视频下载到 /etc/media 目录。如果您使用的是自定义视频，请确保将视频推送到 /etc/media，并更新应用程序的 config 文件中的文件路径。JSON 文件。
- 确保使用的视频包含音频组件和视频。
- 使用 HDMI 端口将显示器连接到设备。有关说明，请参见[设置 HDMI 显示器](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-18/samples.html)。
- 启用显示器：
export XDG_RUNTIME_DIR=/dev/socket/weston && export WAYLAND_DISPLAY=wayland-1Copy to clipboard
## 运行应用程序
示例应用程序使用 /etc/configs/config-audio-classification.json 文件读取输入参数。
要创建自己的 config JSON 文件，请使用 [config-audio-classification.json](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-sample-apps/gst-ai-audio-classification/config-audio-classification.json?ref_type=heads) 作为参考。
1. 使用以下格式的 config-audio-classification.json 文件。
{
"file-path": "",
"model": "",
"labels": "",
"threshold": ,
"runtime": "",
"codec": ""
}Copy to clipboard
Note: 根据模型、输入流和其他属性更新 config JSON
文件。关于更多详细信息，请参阅 [Config JSON 字段说明](https://docs.qualcomm.com/doc/80-70018-50SC/topic/audio-classification.html#audio-classification__section_lcw_2zj_32c)。
例如，使用文件输入、MP3 编码和 GPU runtime
运行应用程序：
{
"file-path": "/etc/media/video-mp3.mp4",
"model": "/etc/models/yamnet.tflite",
"labels": "/etc/labels/yamnet.labels",
"runtime": "gpu",
"threshold": 20,
"codec": "mp3"
}Copy to clipboard
2. 运行 gst-ai-audio-classification 应用程序：
gst-ai-audio-classification --config-file=/etc/configs/config-audio-classification.jsonCopy to clipboard
要显示可用的帮助选项，请在 SSH shell 中运行以下命令：
gst-ai-audio-classification -hCopy to clipboard
要停止用例，请按 CTRL + C。
## 预期输出
输出视频和分类音频将在屏幕上播放。
## Pipeline 流
下表列出了音频分类 pipeline 中使用的插件：| 插件 | 说明 |
| --- | --- |
| 文件源：filesrc |
- 使用 filesrc 采集视频流，然后使用 qtdemux 对视频流进行解复用。
- 使用 tee 拆分流进行推理。
|
| h264parse | 渲染 H.264 视频。 |
| [v4l2h264dec](https://docs.qualcomm.com/doc/80-70018-50SC/topic/v4l2h264dec.html) | 解码视频 |
| mpegaudioparse 或 flacparse | 解析音频（MP3 或 FLAC）。 |
| mpg123audiodec 或 flacdec | 解码音频（MP3 或 FLAC）。 |
| audioconvert | 在各种可能的格式之间转换音频缓存。 |
| audioresample | 将音频缓存以不同的采样率进行重采样。 |
| [pulsesrc](https://docs.qualcomm.com/doc/80-70018-50SC/topic/pulsesrc.html) | 从麦克风采集音频。 |
| audiobuffersplit | 将输入的音频缓存分割为大小相等的块。 |
| [qtimlaconverter](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimlaconverter.html) | 对音频流执行预处理，并将其转换为张量流。
音频分类模型使用该张量流进行推理。 |
| [qtimltflite](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimltflite.html) | 使用 YAMNet 模型执行推理。 |
| [qtimlaclassification](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimlaclassification.html) | 处理音频分类推理的结果：
- 将阈值应用于所选结果数。
- 为分类创建文本叠加。
|
| [qtivcomposer](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtivcomposer.html) | 将分类结果的文本叠加与视频预览合并。 |
| [Waylandsink](https://docs.qualcomm.com/doc/80-70018-50SC/topic/waylandsink.html) |
- Waylandsink 将其接收端口上接收的视频流提交给 Weston。
- Weston 在本地显示器上渲染视频流。
|
## Config JSON 字段说明
| 字段 | 值/描述 |
| :--- | :--- |
| **runtime** | 请使用以下 runtime 之一： |
| **Input source** | 请使用以下输入源之一： |
| **threshold=<integer>** | 使用 1 到 100 之间的任意整数。 |
| **codec** | 输入视频的音频 codec： |
**Parent Topic:** [运行 AI/ML 示例应用程序](https://docs.qualcomm.com/doc/80-70018-50SC/topic/ai-ml-sample-applications.html)
**Related Resources**
- [使用 LiteRT 进行音频分类解码与显示](https://docs.qualcomm.com/doc/80-70018-50SC/topic/audio-classification-with-litert.html)
Last Published: Nov 12, 2025
[Previous Topic
人脸识别](https://docs.qualcomm.com/bundle/publicresource/80-70018-50SC/topics/gst-ai-face-recognition.md) [Next Topic
元数据解析](https://docs.qualcomm.com/bundle/publicresource/80-70018-50SC/topics/gst-ai-metadata-parser.md)