# 使用 LiteRT 进行音频分类解码与显示
Source: [https://docs.qualcomm.com/doc/80-70018-50SC/topic/audio-classification-with-litert.html](https://docs.qualcomm.com/doc/80-70018-50SC/topic/audio-classification-with-litert.html)
用例使用 YAMNet LiteRT 模型对麦克风和文件源的音频样本进行分类和解码。
要停止用例，请按 CTRL + C。
## 麦克风音频样本音频分类
运行本用例：
gst-launch-1.0 -v pulsesrc ! audio/x-raw,format=S16LE ! audiobuffersplit output-buffer-size=31200 ! \
qtimlaconverter sample-rate=16000 feature=lmfe params="params,nfft=512,nhop=160,nmels=64,chunklen=0.96;" ! queue ! \
qtimltflite model=/etc/models/yamnet.tflite ! qtimlaclassification module=yamnet labels=/etc/labels/yamnet.labels ! \
video/x-raw,width=640,height=360 ! queue ! waylandsink sync=false fullscreen=trueCopy to clipboard
下图显示了用例执行流程：
Figure : 音频分类与显示 Pipeline 流
pipeline 执行的顺序处理阶段如下表所示：
Table : 音频分类 Pipeline 处理
| 处理过程 | 说明 |
| --- | --- |
| [pulsesrc](https://docs.qualcomm.com/doc/80-70018-50SC/topic/pulsesrc.html) | 从麦克风采集音频流（源）。 |
| audiobuffersplit | 将传入的音频缓存分割为大小相等的块。 |
| [qtimlaconverter](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimlaconverter.html) | 对音频流执行预处理，并将其转换为张量流。
音频分类模型使用该张量流进行推理。 |
| [qtimltflite](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimltflite.html) |
- 加载模型。
- 为选择的 delegate 修改图。
- 在其接收端口上接收张量数据。
- 执行推理并在其发送端口上生成包含推理结果的张量数据。
|
| [qtimlaclassification](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimlaclassification.html) | 处理音频分类推理结果：
- 将阈值应用于所选结果数。
- 为分类创建文本叠加。
|
| [Waylandsink](https://docs.qualcomm.com/doc/80-70018-50SC/topic/waylandsink.html) |
- 在其接收端口上接收视频和音频流。
- 将流提交至 Weston。
- Weston 在本地显示设备上渲染视频流及为该场景生成的分类音频。
|
## 对文件源音频样本进行分类和解码
- 使用 FLAC 解码器运行用例：
gst-launch-1.0 -e --gst-debug=2 filesrc location=/etc/media/video_FLAC.mp4 ! qtdemux name=demux demux. ! queue ! h264parse ! \
v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw, format=NV12 ! qtivcomposer name=mixer sink_1::position="<50, 50>" sink_1::dimensions="<368, 64>" ! \
queue ! waylandsink fullscreen=true demux. ! queue ! flacparse ! flacdec ! queue ! audioconvert ! audio/x-raw,format=S16LE ! audioresample ! \
audiobuffersplit output-buffer-size=31200 ! queue ! qtimlaconverter sample-rate=16000 feature=lmfe params="params,nfft=512,nhop=160,nmels=64,chunklen=0.96;" ! \
queue ! qtimltflite name=infeng model=/etc/models/yamnet.tflite ! qtimlaclassification name=postproc threshold=10.0 results=3 module=yamnet \
labels=/etc/labels/yamnet.labels ! video/x-raw,format=BGRA,width=368,height=64 ! queue ! mixer.Copy to clipboard
Figure : 音频分类与解码 Pipeline 流程 - FLAC 解码器
- 使用 mpg123audiodec 解码器运行用例：
gst-launch-1.0 -e --gst-debug=2 filesrc location=/etc/media/video_mp3.mp4 ! qtdemux name=demux demux. ! queue ! h264parse ! v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw, format=NV12 ! qtivcomposer name=mixer sink_1::position="<50, 50>" sink_1::dimensions="<368, 64>" ! queue ! waylandsink fullscreen=true demux. ! queue ! mpegaudioparse ! mpg123audiodec ! queue ! audioconvert ! audio/x-raw,format=S16LE ! audioresample ! audiobuffersplit output-buffer-size=31200 ! queue ! qtimlaconverter sample-rate=16000 feature=lmfe params="params,nfft=512,nhop=160,nmels=64,chunklen=0.96;" ! queue ! qtimltflite name=infeng model=/etc/models/yamnet.tflite ! qtimlaclassification name=postproc threshold=10.0 results=3 module=yamnet labels=/etc/labels/yamnet.labels ! video/x-raw,format=BGRA,width=368,height=64 ! queue ! mixer.Copy to clipboard
Figure : 音频分类与解码 Pipeline 流程 - mpg123audiodec 解码器
pipeline 执行的顺序处理阶段如下表所示：
Table : 使用 FLAC 和 mpg123 音频解码器的音频分类 Pipeline 阶段
| 插件 | 说明 |
| --- | --- |
| 文件源：filesrc | 采集视频和音频流，然后使用 qtdemux 对视频流进行解复用。 |
| 音频和视频 capsfilter | 确保视频和音频流格式正确。 |
|
- 音频：mpegaudioparse 或 flacparse
- 视频：h264parse
| 解析音频和 H.264 视频。 |
| | 解码音频和视频。 |
| audioconvert | 对音频缓存在各种可能的格式之间进行转换。 |
| audioresample | 将音频缓存重采样为不同的采样率。 |
| audiobuffersplit | 将传入的音频缓存分割为大小相等的块。 |
| [qtimlaconverter](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimlaconverter.html) | 对音频流执行预处理，并将其转换为张量流。
音频分类模型使用该张量流进行推理。 |
| [qtimltflite](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimltflite.html) | 使用 YAMNet 模型执行推理。 |
| [qtimlaclassification](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimlaclassification.html) | 处理音频分类推理结果：
- 将阈值应用于所选结果数。
- 为分类创建文本叠加。
|
| [qtivcomposer](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtivcomposer.html) | 将分类结果的文本叠加与视频预览合并。 |
| [Waylandsink](https://docs.qualcomm.com/doc/80-70018-50SC/topic/waylandsink.html) |
- Waylandsink 将其接收端口上接收的视频流提交给 Weston。
- Weston 在本地显示器上渲染视频流。
|
**Parent Topic:** [LiteRT 用例](https://docs.qualcomm.com/doc/80-70018-50SC/topic/tensorflow-lite-use-cases.html)
**Related Resources**
- [音频分类](https://docs.qualcomm.com/doc/80-70018-50SC/topic/audio-classification.html)
Last Published: Nov 12, 2025
[Previous Topic
使用 LiteRT 进行图像分类和编码](https://docs.qualcomm.com/bundle/publicresource/80-70018-50SC/topics/single-camera-stream-with-image-classification-and-encode.md) [Next Topic
使用 LiteRT 进行目标检测和显示](https://docs.qualcomm.com/bundle/publicresource/80-70018-50SC/topics/single-camera-stream-with-object-detection-and-display.md)