# GStreamer 插件架构
Source: [https://docs.qualcomm.com/doc/80-70015-50SC/topic/architecture.html](https://docs.qualcomm.com/doc/80-70015-50SC/topic/architecture.html)
GStreamer 插件与 Qualcomm IM SDK 多媒体组件交互，以编译多媒体或 AI/ML 用例。
[Qualcomm GStreamer 插件](https://docs.qualcomm.com/doc/80-70015-50SC/topic/qim-sdk-plugins.html)包括视频编解码、摄像头 ISP、GPU、显示器、音频 DSP (aDSP) 和 AI/ML 加速器。
Qualcomm IM SDK 将硬件的复杂性隐藏在插件架构内，并为程序提供了 API。使用此框架，无需访问 low-level 平台库和硬件详细信息即可创建程序，这些库和硬件详细信息可能因平台而异。
Figure : Qualcomm IM SDK GStreamer 插件架构
## 图形和显示
Source: [https://docs.qualcomm.com/doc/80-70015-50SC/topic/architecture.html](https://docs.qualcomm.com/doc/80-70015-50SC/topic/architecture.html)
Wayland 服务器使用 Wayland 协议来启用显示和图形服务器与其客户端之间的通信。显示和图形架构使用 Weston 服务器 (Weston)。
Weston 致力于合成和显示的管理，能够在系统中作为单独的进程运行。
Figure : Weston/Wayland 架构
Table : Weston/Wayland 组件
| 组件 | 说明 |
| --- | --- |
| Wayland/GLES 客户端 | 为 Weston 实施 Wayland 协议。 |
| Weston 服务器 | 实现 Wayland 合成器。
- 使用内核模式设置（KMS）搭建显示。
- 使用 OpenGL ES 和 Direct Rendering Manager（DRM）执行合成
|
| 安全动态消息传递（SDM）后端 |
- 使用显示硬件抽象层（HAL）与显示硬件进行交互。
- 提供多个与平台相关的实现，其中一个用于 DRM 和 KMS。
|
| GBM 缓冲区管理库（libGBM） |
- 包括 DMA 后端。
- 用于显示器和图形之间的 zero-copy 缓冲区共享。
|
| EGL 平台特定驱动程序（EGL 子驱动程序） | 与 GBM 和 Wayland 协议交互以与 Weston 合成器通信。 |
## 摄像头
Source: [https://docs.qualcomm.com/doc/80-70015-50SC/topic/architecture.html](https://docs.qualcomm.com/doc/80-70015-50SC/topic/architecture.html)
摄像头架构提供了关于底层摄像头驱动程序和硬件如何与 [qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70015-50SC/topic/qtiqmmfsrc.html) 摄像头插件交互的高层抽象。
下图显示了摄像头架构，其中 qtimmfsrc 插件充当 Qualcomm 摄像头服务的客户端。
Figure : 摄像头 pipeline
Table : 摄像头 pipeline 组件
| 组件 | 说明 |
| --- | --- |
| Linux 嵌入式 (LE) 摄像头服务 |
- 在系统中作为守护程序运行：
- 提供简单的远程过程调用（RPC）API 来控制摄像头。
- 公开在客户端和服务器之间执行 RPC 的帮助程序客户端 API。
- 使用 HAL3 API，该 API 与摄像头后端（CamX）和摄像头驱动程序交互，以配置摄像头传感器和图像信号处理器（ISP）硬件。
- 使用 GBM 为每个摄像头流分配缓冲区并将其提交到 HAL3。
|
| 客户端-服务器架构 | 支持多客户端和多摄像头用例执行以下操作：
- 创建 qtiqmmfsrc 的多个实例，一个插件的实例对应一个物理或逻辑摄像头。
- 运行摄像头用例。根据用例，这些实例可以位于同一进程或不同进程中
|
| qtiqmmfsrc |
- 并行提供多个流（多个源接插口），每个流可以采用不同的格式（NV12/21 或 MJPEG）。
例如，如果有三个并行流，则按如下方式处理：
- 一个流用于本地存储。
- 一个用于 YUV 流，用于在本地显示器上实时预览摄像头。
- 一个用于网络流。
- 支持 "N" 个并行流，其中 "N" 取决于摄像头 ISP 功能。
|
| [Waylandsink](https://docs.qualcomm.com/doc/80-70015-50SC/topic/waylandsink.html) |
- 使用原始 YUV（NV12/21）流输出将摄像头帧渲染到物理显示器。
- 实现实时摄像头预览用例。
- 启用后处理组件以提高质量。
- 启用 ML 推理组件以在实时摄像头上执行推理。
|
| 缓冲区 |
- 相同的缓冲区分发到客户端 (qtiqmmfsrc) 和 pipeline 中的其他插件。
- 缓冲池管理缓冲区以避免按帧分配。
|
**Related Resources**
- [摄像头用例](https://docs.qualcomm.com/doc/80-70015-50SC/topic/camera.html)
## 视频
Source: [https://docs.qualcomm.com/doc/80-70015-50SC/topic/architecture.html](https://docs.qualcomm.com/doc/80-70015-50SC/topic/architecture.html)
[v4l2h264enc](https://docs.qualcomm.com/doc/80-70015-50SC/topic/v4l2h264enc.html) 和 [v4l2h265enc](https://docs.qualcomm.com/doc/80-70015-50SC/topic/v4l2h265enc.html) 视频编码插件与摄像头插件连接以实现高级视频编码（H.264 或 H.265）用例。[v4l2h264dec](https://docs.qualcomm.com/doc/80-70015-50SC/topic/v4l2h264dec.html) 和 [v4l2h265dec](https://docs.qualcomm.com/doc/80-70015-50SC/topic/v4l2h265dec.html) 视频解码插件与 Waylandsink 连接以实现视频播放用例。
### 编码
下图显示了视频编码的架构。v4l2h264enc 和 v4l2h265enc 插件可以连接到文件多路复用器（MP4 或 MPEGTS），以将编码码流保存到文件系统中。
有关视频编码用例，可参见[摄像头和视频编码](https://docs.qualcomm.com/doc/80-70015-50SC/topic/camera-and-video-encode.html)。
Figure : 视频编码 pipeline
Table : 视频编码组件
| 组件 | 说明 |
| --- | --- |
| qtiqmmfsrc | 并行采集和提供多个视频流。有关摄像头服务的更多信息，可参见[摄像头](https://docs.qualcomm.com/doc/80-70015-50SC/topic/architecture.html#camera)。 |
| 视频编码插件 | 使用 V4L2 驱动程序和 API 对视频流进行编码。 |
| H.264/H.265 解析 | 解析视频流。 |
| Filemux | 多路复用编码的视频流并保存到文件中。 |
### 解码
下图显示了视频解码的架构，其中对来自文件的视频流进行解复用、解码，并显示在本地设备上。
解码参数作为属性公开给应用程序，以提供对视频解码 pipeline 的控制。
Figure : 视频解码 pipeline
有关视频解码用例，可参见[视频播放用例](https://docs.qualcomm.com/doc/80-70015-50SC/topic/video-playback-use-cases.html)。
Table : 视频解码组件
| 组件 | 说明 |
| --- | --- |
| 视频解码插件 | 使用 V4L2 驱动程序和 API 来解码视频流，并与 Waylandsink 插件连接。 |
| Waylandsink |
- 接收 GBM 缓冲区（解码缓冲区）作为输入。
- （通过 Wayland 协议）将其发送到 Weston 服务器进行显示合成。
|
## 音频
Source: [https://docs.qualcomm.com/doc/80-70015-50SC/topic/architecture.html](https://docs.qualcomm.com/doc/80-70015-50SC/topic/architecture.html)
对于音频采集和播放，使用 [pulsesrc](https://docs.qualcomm.com/doc/80-70015-50SC/topic/pulsesrc.html) 和 [pulsesink](https://docs.qualcomm.com/doc/80-70015-50SC/topic/pulsesink.html) GStreamer 插件。音频编码和解码是通过开源软件完成的。
### 采集
下图显示使用 pulsesrc 插件采集到的音频，音频经过处理后被写入文件。
Figure : 音频采集 pipeline
Table : 音频采集组件
| 组件 | 说明 |
| --- | --- |
| Pulsesrc |
- 采集音频并将其与底层 PulseAudio 服务器共享。
- 设置从中采集脉冲编码调制（PCM）音频样本的音频源。
- 将 PCM 示例保存到文件中。
|
| PulseAudio 服务器 |
- 与 Qualcomm 硬件交互。
- 使用可插拔模块与 ALSA 驱动程序交互以处理音频数据。
|
### 播放
Pulsesink 插件用于音频播放。它是一个上游插件，使您能够播放来自各种音频源（实时源或编码音频文件）的音频。
Figure : 音频播放 pipeline
Table : 音频播放组件
| 组件 | 说明 |
| --- | --- |
| Pulsesink |
- 与底层 PulseAudio 服务器交互。
- 设置必须播放音频的音频播放接收器。
- 仅播放 PCM 数据。
|
| PulseAudio 服务器 |
- 与 Qualcomm 硬件交互。
- 使用可插拔模块与 ALSA 驱动程序交互，以处理用于播放的音频数据。
|
### 编码
音频编码是使用开源软件音频编码器插件完成的。
Figure : 音频编码 pipeline
Table : 音频编码组件
| 组件 | 说明 |
| --- | --- |
| Pulsesrc | 采集音频并将其与底层 PulseAudio 服务器共享。 |
| PulseAudio 服务器 | 与 ALSA 驱动程序交互以处理音频数据以进行编码。 |
| 编码 | 使用开源软件对音频数据进行编码。 |
| 解析 | 解析音频数据。 |
| Filemux | 将其多路复用并保存在 MP4 或 MPEGTS 容器中。 |
### 解码
音频解码是使用开源软件音频解码器插件完成的。
Figure : 音频解码 pipeline
Table : 音频解码组件
| 组件 | 说明 |
| --- | --- |
| Filesrc | 读取音频数据。 |
| 流解复用器 | 对音频数据进行解复用。 |
| 解码 | 使用开源软件解码音频数据。 |
| Pulsesink | 与底层 PulseAudio 服务器交互并播放解码的音频。 |
| PulseAudio 服务器 | 与 ALSA 驱动程序交互以处理音频数据进行解码。 |
## 机器学习
Source: [https://docs.qualcomm.com/doc/80-70015-50SC/topic/architecture.html](https://docs.qualcomm.com/doc/80-70015-50SC/topic/architecture.html)
Qualcomm IM SDK 支持机器学习用例，包括视频预处理、模型推理、输出张量后处理以及将推理结果叠加到流。
机器学习框架提供以下类型的视频分析：
- 图像分类
- 目标检测
- 图像分割
使用框架中的机器学习插件，使用以下命令进行推理：
- [TensorFlow Lite (TFLite)](https://www.tensorflow.org/lite/guide)
- [Qualcomm® Neural Processing SDK](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-10/general_overview.html)（以前称为 Qualcomm Snapdragon Neural Processing Engine（SNPE））
每个引擎都启用 delegates 来加速模型推理性能。
### ML pipeline 处理
下图描述了在预处理、推理和后处理插件之间处理采集的视频/音频流的 pipeline。
Figure : ML pipeline
下表列出了采集、处理视频/音频流以及将输出显示在屏幕上或保存到文件中的顺序阶段。
Table : ML pipeline 处理阶段
| 过程 | 说明 |
| --- | --- |
| 来源 |
- qtiqmmfsrc 从实时摄像头源采集 YUV 流。
- filesrc 插件从需要格式转换的离线视频中采集任何格式。
|
| 预处理 | [qtimlvconverter](https://docs.qualcomm.com/doc/80-70015-50SC/topic/qtimlvconverter.html)执行以下操作以准备用于推理的视频流： |
| 推理 |
- 预处理的数据以张量格式发送到推理插件。
- 推理插件将此数据发送到机器学习引擎：
|
| 后处理 | 输出张量被传递给后处理插件： |
| 叠加层 | 解释机器学习元数据的覆盖插件。
- qtioverlay 在缓冲区上绘制适当的叠加层，以便实时可视化推理结果。
- 流可以呈现到显示器上，通过网络进行传输，或者进行编码并存储到本地存储。
|
| 接收设备 | |
**Related Resources**
- [机器学习用例](https://docs.qualcomm.com/doc/80-70015-50SC/topic/machine-learning-use-cases.html)
Last Published: Nov 11, 2025
[Previous Topic
单摄像头流和套接字用例](https://docs.qualcomm.com/bundle/publicresource/80-70015-50SC/topics/socketsrc-and-socketsink-use-case.md) [Next Topic
Qualcomm GStreamer 插件](https://docs.qualcomm.com/bundle/publicresource/80-70015-50SC/topics/qim-sdk-plugins.md)