# 使用 LiteRT 进行音频分类解码与显示 Source: [https://docs.qualcomm.com/doc/80-70020-50SC/topic/audio-classification-with-litert.html](https://docs.qualcomm.com/doc/80-70020-50SC/topic/audio-classification-with-litert.html) 这些用例实施了 YAMNet LiteRT 模型对来自麦克风和文件源的音频样本进行分类和解码。 要停止用例，请按 CTRL + C。 ## 麦克风音频样本音频分类 运行本用例： gst-launch-1.0 -v pulsesrc ! audio/x-raw,format=S16LE ! audiobuffersplit output-buffer-size=31200 ! \ qtimlaconverter sample-rate=16000 feature=lmfe params="params,nfft=96,nhop=160,nmels=64,chunklen=0.96;" ! queue ! \ qtimltflite model=/etc/models/yamnet.tflite ! qtimlaclassification module=yamnet labels=/etc/labels/yamnet.labels ! \ video/x-raw,width=640,height=360 ! queue ! waylandsink sync=false fullscreen=trueCopy to clipboard 下图展示了用例执行流程： Figure : 音频分类与显示 Pipeline 流 下表列出了 pipeline 执行的顺序处理阶段： Table : 音频分类 Pipeline 处理 | 处理过程 | 说明 | | --- | --- | | [pulsesrc](https://docs.qualcomm.com/doc/80-70020-50SC/topic/pulsesrc.html) | 从麦克风采集音频流（源）。 | | audiobuffersplit | 将传入的音频缓存分割为大小相等的块。 | | [qtimlaconverter](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlaconverter.html) | 对音频流执行预处理，并将其转换为张量流。
音频分类模型使用该张量流进行推理。 | | [qtimltflite](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimltflite.html) |

  1. 加载模型。


  2. 为选择的 delegate 修改图。


  3. 在其接收端口上接收张量数据。


  4. 执行推理并在其发送端口上生成包含推理结果的张量数据。


| | [qtimlaclassification](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlaclassification.html) | 处理音频分类推理结果：

  1. 将阈值应用于所选结果数。


  2. 为分类创建文本叠加。


| | [Waylandsink](https://docs.qualcomm.com/doc/80-70020-50SC/topic/waylandsink.html) |

  1. 在其接收端口上接收视频和音频流。


  2. 将流提交至 Weston。


  3. Weston 在本地显示设备上渲染视频流及为该场景生成的分类音频。


| ## 对文件源音频样本进行分类和解码 - 使用 FLAC 解码器运行用例： gst-launch-1.0 -e --gst-debug=2 filesrc location=/etc/media/video_FLAC.mp4 ! qtdemux name=demux demux. ! queue ! h264parse ! \ v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw, format=NV12 ! qtivcomposer name=mixer sink_1::position="<50, 50>" sink_1::dimensions="<368, 64>" ! \ queue ! waylandsink fullscreen=true demux. ! queue ! flacparse ! flacdec ! queue ! audioconvert ! audioresample ! \ audiobuffersplit output-buffer-size=31200 ! queue ! qtimlaconverter sample-rate=16000 feature=lmfe params="params,nfft=96,nhop=160,nmels=64,chunklen=0.96;" ! \ queue ! qtimltflite name=infeng model=/etc/models/yamnet.tflite ! qtimlaclassification name=postproc threshold=10.0 results=3 module=yamnet \ labels=/etc/labels/yamnet.labels ! video/x-raw,format=BGRA,width=368,height=64 ! queue ! mixer.Copy to clipboard Figure : 音频分类与解码 Pipeline 流程 - FLAC 解码器 - 使用 mpg123audiodec 解码器运行用例： gst-launch-1.0 -e --gst-debug=2 \ filesrc location=/etc/media/video-mp3.mp4 ! qtdemux name=demux demux. ! queue ! h264parse ! v4l2h264dec capture-io-mode=4 output-io-mode=4 ! \ video/x-raw, format=NV12 ! qtivcomposer name=mixer sink_1::position="<50, 50>" sink_1::dimensions="<368, 64>" ! queue ! \ waylandsink fullscreen=true demux. ! queue ! mpegaudioparse ! mpg123audiodec ! audioconvert ! audioresample ! \ audiobuffersplit output-buffer-size=31200 ! queue ! qtimlaconverter sample-rate=16000 ! queue ! \ qtimltflite name=infeng model=/etc/models/yamnet.tflite ! qtimlaclassification name=postproc threshold=10.0 \ results=3 module=yamnet labels=/etc/labels/yamnet.labels ! video/x-raw,format=BGRA,width=368,height=64 ! queue ! mixer.Copy to clipboard Figure : 音频分类与解码 Pipeline 流程 - mpg123audiodec 解码器 下表列出了 pipeline 执行的顺序处理阶段： Table : 使用 FLAC 和 mpg123 音频解码器的音频分类 Pipeline 阶段 | 插件 | 说明 | | --- | --- | | 文件源：filesrc | 采集视频和音频流，然后使用 qtdemux 对视频流进行解复用。 | | 音频和视频 capsfilter | 确保视频和音频流格式正确。 | | | 解析音频和 H.264 视频。 | | | 解码音频和视频。 | | audioconvert | 对音频缓存在各种可能的格式之间进行转换。 | | audioresample | 将音频缓存重采样为不同的采样率。 | | audiobuffersplit | 将传入的音频缓存分割为大小相等的块。 | | [qtimlaconverter](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlaconverter.html) | 对音频流执行预处理，并将其转换为张量流。
音频分类模型使用该张量流进行推理。 | | [qtimltflite](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimltflite.html) | 使用 YAMNet 模型执行推理。 | | [qtimlaclassification](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlaclassification.html) | 处理音频分类推理结果：

  1. 将阈值应用于所选结果数。


  2. 为分类创建文本叠加。


| | [qtivcomposer](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtivcomposer.html) | 将分类结果的文本叠加与视频预览合并。 | | [Waylandsink](https://docs.qualcomm.com/doc/80-70020-50SC/topic/waylandsink.html) |

  1. Waylandsink 将其接收端口上接收的视频流提交给 Weston。


  2. Weston 在本地显示器上渲染视频流。


| ## 相关信息 [音频分类](https://docs.qualcomm.com/doc/80-70020-50SC/topic/audio-classification.html) **Parent Topic:** [LiteRT 用例](https://docs.qualcomm.com/doc/80-70020-50SC/topic/tensorflow-lite-use-cases.html) Last Published: Jul 23, 2025 [Previous Topic 使用 LiteRT 进行图像分类和编码](https://docs.qualcomm.com/bundle/publicresource/80-70020-50SC/topics/single-camera-stream-with-image-classification-and-encode.md) [Next Topic 使用 LiteRT 进行目标检测和显示](https://docs.qualcomm.com/bundle/publicresource/80-70020-50SC/topics/single-camera-stream-with-object-detection-and-display.md)