# 使用 LiteRT 进行音频分类解码与显示 Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/audio-classification-with-litert.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/audio-classification-with-litert.html) 该用例实现了 YAMNet LiteRT 模型对麦克风和文件源的音频样本进行分类和解码。 要停止用例，请按 CTRL + C。 ## 麦克风音频样本音频分类 Note: 此用例不适用于当前版本。 在目标设备上运行此用例： gst-launch-1.0 -v pulsesrc ! audio/x-raw,format=S16LE ! audiobuffersplit output-buffer-size=31200 ! \ qtimlaconverter sample-rate=16000 feature=lmfe params="params,nfft=96,nhop=160,nmels=64,chunklen=0.96;" ! queue ! \ qtimltflite model=/etc/models/yamnet.tflite ! qtimlpostprocess module=yamnet labels=/etc/labels/yamnet.json ! \ video/x-raw,width=640,height=360 ! queue ! waylandsink sync=false fullscreen=trueCopy to clipboard 下图显示了用例执行的流程： Figure : 音频分类与显示 Pipeline 流 pipeline_flow_audioclassificati Sheet.3 GST BIN GST BIN Sheet.4 Sheet.15 qtimlaconverter qtimlaconverter Sheet.18 Sheet.19 Sheet.21 Sheet.22 Sheet.24 qtimflite qtimflite Sheet.27 Sheet.28 Sheet.30 qtimlpostprocess qtimlpostprocess Sheet.33 Sheet.34 Sheet.36 Waylandsink Waylandsink Sheet.39 pulsesrc pulsesrc Sheet.42 Sheet.43 Sheet.45 audiobuffersplit audiobuffersplit Sheet.48 Sheet.7 Qualcomm Qualcomm Sheet.8 Sheet.10 开源 开源 Sheet.11 下表列出了 pipeline 执行的顺序处理阶段： Table : 音频分类 Pipeline 处理 | 处理过程 | 说明 | | --- | --- | | [pulsesrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/pulsesrc.html) | 从麦克风采集音频流（源）。 | | audiobuffersplit | 将传入的音频缓存分割为大小相等的块。 | | [qtimlaconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlaconverter.html) | 对音频流执行预处理，并将其转换为张量流。
音频分类模型使用该张量流进行推理。 | | [qtimltflite](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimltflite.html) |

  1. 加载模型。


  2. 为选择的 delegate 修改图。


  3. 在其接收端口上接收张量数据。


  4. 执行推理并在其发送端口上生成包含推理结果的张量数据。


| | qtimlpostprocess | 处理音频分类推理结果：

  1. 将阈值应用于所选结果数。


  2. 为分类创建文本叠加。


| | [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |

  1. 在其接收端口上接收视频和音频流。


  2. 将流提交至 Weston。


  3. Weston 在本地显示设备上渲染视频流及为该场景生成的分类音频。


| ## 对文件源音频样本进行分类和解码 - 使用 FLAC 解码器在目标设备上运行用例： gst-launch-1.0 -e --gst-debug=2 filesrc location=/etc/media/video-flac.mp4 ! qtdemux name=demux demux. ! queue ! h264parse ! \ v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw, format=NV12 ! qtivcomposer name=mixer sink_1::position="<50, 50>" sink_1::dimensions="<368, 64>" ! \ queue ! waylandsink fullscreen=true demux. ! queue ! flacparse ! flacdec ! queue ! audioconvert ! audioresample ! \ audiobuffersplit output-buffer-size=31200 ! queue ! qtimlaconverter sample-rate=16000 feature=lmfe params="params,nfft=96,nhop=160,nmels=64,chunklen=0.96;" ! \ queue ! qtimltflite name=infeng model=/etc/models/yamnet.tflite ! qtimlpostprocess name=postproc settings="{\"confidence\": 10.0}" results=3 module=yamnet \ labels=/etc/labels/yamnet.json ! video/x-raw,format=BGRA,width=368,height=64 ! queue ! mixer.Copy to clipboard Figure : 音频分类与解码 Pipeline 流程 - FLAC 解码器 Layer_1 Sheet.2 GST BIN GST BIN Sheet.3 Sheet.6 Sheet.7 Sheet.9 Sheet.10 Sheet.12 Sheet.13 Sheet.15 Sheet.16 Sheet.18 Sheet.19 Sheet.21 Sheet.22 Sheet.24 Sheet.25 Sheet.27 Sheet.28 Sheet.29 audio capsfilter audiocapsfilter Sheet.31 flacparse flacparse Sheet.33 flacdec flacdec Sheet.35 audioconvert audioconvert Sheet.37 audioresample audioresample Sheet.39 audiobuffersplit audiobuffersplit Sheet.41 qtimlaconverter qtimlaconverter Sheet.43 qtimltflite qtimltflite Sheet.45 qtimlpostprocess qtimlpostprocess Sheet.48 Sheet.49 Sheet.51 Sheet.52 Sheet.54 Sheet.55 Sheet.57 Sheet.58 Sheet.60 Sheet.61 Sheet.63 Sheet.64 Sheet.65 filesrc filesrc Sheet.67 qtdemux qtdemux Sheet.69 video capsfilter videocapsfilter Sheet.71 h264parse h264parse Sheet.73 v4l2h264dec v4l2h264dec Sheet.75 qtivcomposer qtivcomposer Sheet.77 Waylandsink Waylandsink Sheet.80 Sheet.81 Sheet.83 Sheet.84 Sheet.94 Sheet.87 Qualcomm Qualcomm Sheet.88 Sheet.90 开源 开源 Sheet.91 - 使用 mpg123audiodec 解码器在目标设备上运行用例： gst-launch-1.0 -e --gst-debug=2 \ filesrc location=/etc/media/video-mp3.mp4 ! qtdemux name=demux demux. ! queue ! h264parse ! v4l2h264dec capture-io-mode=4 output-io-mode=4 ! \ video/x-raw, format=NV12 ! qtivcomposer name=mixer sink_1::position="<50, 50>" sink_1::dimensions="<368, 64>" ! queue ! \ waylandsink fullscreen=true demux. ! queue ! mpegaudioparse ! mpg123audiodec ! audioconvert ! audioresample ! \ audiobuffersplit output-buffer-size=31200 ! queue ! qtimlaconverter sample-rate=16000 ! queue ! \ qtimltflite name=infeng model=/etc/models/yamnet.tflite ! qtimlpostprocess name=postproc settings="{\"confidence\": 10.0}" \ results=3 module=yamnet labels=/etc/labels/yamnet.json ! video/x-raw,format=BGRA,width=368,height=64 ! queue ! mixer.Copy to clipboard Figure : 音频分类与解码 Pipeline 流程 - mpg123audiodec 解码器 Layer_1 Sheet.2 GST BIN GST BIN Sheet.3 Sheet.6 Sheet.7 Sheet.9 Sheet.10 Sheet.12 Sheet.13 Sheet.15 Sheet.16 Sheet.18 Sheet.19 Sheet.21 Sheet.22 Sheet.24 Sheet.25 Sheet.27 Sheet.28 Sheet.29 audio capsfilter audiocapsfilter Sheet.31 mpegaudio parse mpegaudioparse Sheet.33 mpg123 audiodec mpg123audiodec Sheet.35 audioconvert audioconvert Sheet.37 audioresample audioresample Sheet.39 audiobuffersplit audiobuffersplit Sheet.41 qtimlaconverter qtimlaconverter Sheet.43 qtimltflite qtimltflite Sheet.45 qtimlpostprocess qtimlpostprocess Sheet.48 Sheet.49 Sheet.51 Sheet.52 Sheet.54 Sheet.55 Sheet.57 Sheet.58 Sheet.60 Sheet.61 Sheet.63 Sheet.64 Sheet.65 filesrc filesrc Sheet.67 qtdemux qtdemux Sheet.69 video capsfilter videocapsfilter Sheet.71 h264parse h264parse Sheet.73 v4l2h264dec v4l2h264dec Sheet.75 qtivcomposer qtivcomposer Sheet.77 Waylandsink Waylandsink Sheet.80 Sheet.81 Sheet.83 Sheet.84 Sheet.94 Sheet.87 Qualcomm Qualcomm Sheet.88 Sheet.90 开源 开源 Sheet.91 下表列出了 pipeline 执行的顺序处理阶段： Table : 使用 FLAC 和 mpg123 音频解码器的音频分类 Pipeline 阶段 | 插件 | 说明 | | --- | --- | | 文件源：filesrc | 采集视频和音频流，然后使用 qtdemux 对视频流进行解复用。 | | 音频和视频 capsfilter | 确保视频和音频流格式正确。 | | | 解析音频和 H.264 视频。 | | | 解码音频和视频。 | | audioconvert | 对音频缓存在各种可能的格式之间进行转换。 | | audioresample | 将音频缓存重采样为不同的采样率。 | | audiobuffersplit | 将传入的音频缓存分割为大小相等的块。 | | [qtimlaconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlaconverter.html) | 对音频流执行预处理，并将其转换为张量流。
音频分类模型使用该张量流进行推理。 | | [qtimltflite](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimltflite.html) | 使用 YAMNet 模型执行推理。 | | qtimlpostprocess | 处理音频分类推理结果：

  1. 将阈值应用于所选结果数。


  2. 为分类创建文本叠加。


| | [qtivcomposer](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtivcomposer.html) | 将分类结果的文本叠加与视频预览合并。 | | [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |

  1. Waylandsink 将其接收端口上接收的视频流提交给 Weston。


  2. Weston 在本地显示器上渲染视频流。


| ## 相关信息 [音频分类](https://docs.qualcomm.com/doc/80-70022-50SC/topic/audio-classification.html) **Parent Topic:** [LiteRT 用例](https://docs.qualcomm.com/doc/80-70022-50SC/topic/tensorflow-lite-use-cases.html) Last Published: Nov 05, 2025 [Previous Topic 使用 LiteRT 进行图像分类和编码](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/single-camera-stream-with-image-classification-and-encode.md) [Next Topic 使用 LiteRT 进行目标检测和显示](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/single-camera-stream-with-object-detection-and-display.md)