# 音频分类 Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/audio-classification.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/audio-classification.html) **gst-ai-audio-classification** 应用程序对来自文件源或麦克风的输入显示其音频分类。将同时显示分类结果和视频预览。 Note: 此应用程序在 Ubuntu Server 上不受支持。 下图展示了一个 pipeline：从文件或麦克风获取输入，对其进行预处理，并在 AI 硬件上运行推理。结果将显示在屏幕上。 有关 pipeline 流中使用的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70022-50SC/topic/audio-classification.html#audio-classification__section_fdn_fmz_n2c)。 Figure : gst-ai-audio-classification pipeline gst_ai_audio_classification Sheet.2 Sheet.3 Sheet.4 Sheet.13 Waylandsink Waylandsink Sheet.15 Sheet.16 Sheet.17 Sheet.18 Sheet.19 Sheet.20 filesrc filesrc Sheet.21 Sheet.22 Sheet.23 Sheet.24 Sheet.25 Sheet.26 Sheet.27 Sheet.28 h264parse h264parse Sheet.29 Sheet.30 Sheet.31 Sheet.32 Sheet.33 Sheet.34 Sheet.36 qtdemux qtdemux Sheet.37 qtivcomposer qtivcomposer Sheet.40 V4l2h264dec V4l2h264dec Sheet.42 Sheet.43 Sheet.44 Sheet.45 Sheet.46 Sheet.47 Sheet.48 mpg123audioparse/flacparse mpg123audioparse/flacparse Sheet.50 Sheet.51 Sheet.52 Sheet.53 mpg123audiodec/flacdec mpg123audiodec/flacdec Sheet.55 Sheet.56 Sheet.57 Sheet.58 audioconvert audioconvert Sheet.60 Sheet.61 Sheet.62 Sheet.63 audioresample audioresample Sheet.65 Sheet.66 Sheet.67 Sheet.68 audiobuffersplit audiobuffersplit Sheet.70 Sheet.71 Sheet.72 Sheet.73 qtimlaconverter qtimlaconverter Sheet.75 Sheet.76 Sheet.77 Sheet.78 Sheet.79 Sheet.80 Sheet.81 qtimflite qtimflite Sheet.83 Sheet.84 Sheet.85 Sheet.86 Sheet.87 Sheet.88 Sheet.89 Sheet.90 Sheet.91 pulsesrc pulsesrc Sheet.92 Sheet.93 Sheet.94 Sheet.95 Sheet.96 audiobuffersplit audiobuffersplit Sheet.97 Sheet.98 Sheet.99 Sheet.100 qtimlaconverter qtimlaconverter Sheet.101 Sheet.102 Sheet.103 Sheet.104 qtimflite qtimflite Sheet.105 Sheet.106 Sheet.107 Sheet.112 qtimlpostprocess qtimlpostprocess Sheet.113 Sheet.114 Sheet.115 Sheet.117 qtimlpostprocess qtimlpostprocess Sheet.119 Sheet.120 Sheet.121 Sheet.122 Sheet.124 Sheet.7 Qualcomm Qualcomm Sheet.8 Sheet.10 开源 开源 Sheet.11 ## 示例模型和标签文件 Table : gst-ai-audio-classification 的示例模型和标签文件 | Runtime | 模型文件 | 标签文件 | | :--- | :--- | :--- | | LiteRT | yamnet.tflite | yamnet.json | ## 在目标设备上运行应用程序 示例应用程序使用 /etc/configs/config-audio-classification.json文件读取输入参数。 要创建自己的 config JSON 文件，请使用 [config-audio-classification.json](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-sample-apps/gst-ai-audio-classification/config-audio-classification.json?ref_type=heads) 作为参考。 1. 确保您已完成[前提条件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/download-model-and-label-files.html)。 2. 根据模型、输入流和其他属性更新 config JSON 文件。关于更多详细信息，请参阅 [Config JSON 字段说明](https://docs.qualcomm.com/doc/80-70022-50SC/topic/audio-classification.html#audio-classification__section_lcw_2zj_32c)。 3. 使用以下格式的 config-audio-classification.json文件。 { "file-path": "", "model": "", "labels": "", "threshold": , "runtime": "", "codec": "" }Copy to clipboard 例如，使用文件输入、MP3 编码和 GPU runtime 运行应用程序： { "file-path": "/etc/media/video-mp3.mp4", "model": "/etc/models/yamnet.tflite", "labels": "/etc/labels/yamnet.json", "runtime": "cpu", "threshold": 20, "codec": "mp3" }Copy to clipboard 4. 运行 gst-ai-audio-classification 应用程序： gst-ai-audio-classification --config-file=/etc/configs/config-audio-classification.jsonCopy to clipboard 5. 要显示可用的帮助选项，请在 SSH shell 中运行以下命令： gst-ai-audio-classification -hCopy to clipboard 6. 要停止用例，请按 CTRL + C。 ## 预期输出 输出视频和分类音频将在屏幕上播放。 ## Pipeline 流 下表列出了音频分类 pipeline 中使用的插件：| 插件 | 说明 | | --- | --- | | 文件源：filesrc |

  • 使用 filesrc 采集视频流，然后使用 qtdemux 对视频流进行解复用。


  • 使用 tee 拆分流进行推理。


| | h264parse | 渲染 H.264 视频。 | | [v4l2h264dec](https://docs.qualcomm.com/doc/80-70022-50SC/topic/v4l2h264dec.html) | 解码视频 | | mpegaudioparse 或 flacparse | 解析音频（MP3 或 FLAC）。 | | mpg123audiodec 或 flacdec | 解码音频（MP3 或 FLAC）。 | | audioconvert | 对音频缓存在各种可能的格式之间进行转换。 | | audioresample | 将音频缓存以不同的采样率进行重采样。 | | [pulsesrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/pulsesrc.html) | 从麦克风采集音频。 | | audiobuffersplit | 将传入的音频缓存分割为大小相等的块。 | | [qtimlaconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlaconverter.html) | 对音频流执行预处理，并将其转换为张量流。
音频分类模型使用该张量流进行推理。 | | [qtimltflite](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimltflite.html) | 使用 YAMNet 模型执行推理。 | | qtimlpostprocess | 使用 yamnet 模块处理音频分类推理结果：

  1. 将阈值应用于所选结果数。


  2. 为分类创建文本叠加。


| | [qtivcomposer](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtivcomposer.html) | 将分类结果的文本叠加与视频预览合并。 | | [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |

  1. Waylandsink 将其接收端口上接收的视频流提交给 Weston。


  2. Weston 在本地显示器上渲染视频流。


| ## Config JSON 字段说明 可用于配置 JSON 文件和运行用例的不同参数如下： | 字段 | 值/描述 | | :--- | :--- | | **runtime** | 请使用以下 runtime 之一：

  • cpu


  • gpu


| | **Input source** | 请使用以下输入源之一：

  • file-path：视频文件的目录路径。


  • 麦克风


| | **threshold=<integer>** | 使用 1 到 100 之间的任意整数。 | | **codec** | 输入视频的音频 codec：

  • MP3（默认）


  • FLAC


| ## 相关信息 [使用 LiteRT 进行音频分类解码与显示](https://docs.qualcomm.com/doc/80-70022-50SC/topic/audio-classification-with-litert.html) **Parent Topic:** [运行 AI/ML 示例应用程序](https://docs.qualcomm.com/doc/80-70022-50SC/topic/ai-ml-sample-applications.html) Last Published: Nov 05, 2025 [Previous Topic 人脸识别](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/gst-ai-face-recognition.md) [Next Topic 元数据解析](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/gst-ai-metadata-parser.md)