# GStreamer 插件架构
Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/architecture.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/architecture.html)
Qualcomm IM SDK 将硬件的复杂性隐藏在插件架构内，并为应用程序提供了 API。使用此框架，您可以创建应用程序，而无需访问低层平台库和硬件详细信息，这些信息可能因平台而异。
[配置 Qualcomm GStreamer 插件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qim-sdk-plugins.html)包括视频编码/解码、摄像头 ISP、GPU、显示器、音频 DSP (aDSP) 和 AI/ML 加速器。
Figure : Qualcomm IM SDK GStreamer 插件架构
## 图像与显示架构
Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/architecture.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/architecture.html)
Wayland 服务器使用 Wayland 协议来实现显示和图形服务器及其客户端之间的通信。显示与图形架构使用 Weston 服务器 (Weston)。
Weston 作为系统中的独立进程运行时，同时管理合成与显示。
Figure : Weston/Wayland 架构
Table : Weston/Wayland 组件
| 组件 | 说明 |
| --- | --- |
| Wayland/GLES 客户端 | 为 Weston 实施 Wayland 协议。 |
| Weston 服务器 | 实现 Wayland 合成器。
- 使用内核模式设置（KMS）设置显示。
- 使用 OpenGL ES 和 Direct Rendering Manager（DRM）执行合成
|
| 安全动态消息传递（SDM）后端 |
- 使用显示硬件抽象层（HAL）与显示硬件进行交互。
- 提供多个与平台相关的实现，其中一个用于 DRM 和 KMS。
|
| GBM 缓存管理库（libGBM） |
- 包括 DMA 后端。
- 用于显示器和图形之间的 zero-copy 缓冲存共享。
|
| EGL 平台特定驱动程序（EGL 子驱动程序） | 与 GBM 和 Wayland 协议交互以与 Weston 合成器通信。 |
## 摄像头架构
Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/architecture.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/architecture.html)
摄像头架构提供了关于底层摄像头驱动程序和硬件如何与 [qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtiqmmfsrc.html) 摄像头插件交互的高层抽象。
下图展示了摄像头架构，其中，qtimmfsrc 插件充当 Qualcomm 摄像头服务的客户端。
Figure : 摄像头 pipeline
Table : 摄像头 pipeline 组件
| 组件 | 说明 |
| --- | --- |
| Linux 嵌入式 (LE) 摄像头服务 |
- 在系统中作为守护程序运行：
- 提供简单的远程过程调用（RPC）API 来控制摄像头。
- 公开在客户端和服务器之间执行 RPC 的帮助程序客户端 API。
- 使用 HAL3 API，该 API 与摄像头后端（CamX）和摄像头驱动程序交互，以配置摄像头传感器和图像信号处理器（ISP）硬件。
- 使用 GBM 为每个摄像头流分配缓存并将其提交给 HAL3。
|
| 客户端/服务器架构 | 允许多客户端和多摄像头用例执行以下操作：
- 创建多个 qtiqmmfsrc 实例，一个插件实例对应一个物理或逻辑摄像头。
- 运行摄像头用例。根据用例，这些实例可以位于同一进程或不同进程中
|
| qtiqmmfsrc |
- 并行提供多个流（多个发送端口），每个流可以采用不同的格式（NV12/21 或 MJPEG）。
例如，如果有三路并行流，则按如下方式处理：
- 一个流用于本地存储。
- 一个用于 YUV 流，用于在本地显示器上实时预览摄像头。
- 一个用于网络流。
- 支持 "N" 个并行流，其中 "N" 取决于摄像头 ISP 功能。
|
| [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |
- 使用原始 YUV（NV12/21）流输出将摄像头帧渲染到物理显示器。
- 实现实时摄像头预览用例。
- 允许后处理元素提升质量。
- 允许 ML 推理元素对实时摄像头进行推理。
|
| 缓存 |
- 相同的缓存分发到客户端（qtiqmmfsrc）和 pipeline 中的其他插件。
- 缓存池管理缓存以避免按帧分配。
|
### 相关信息
[摄像头用例](https://docs.qualcomm.com/doc/80-70022-50SC/topic/camera.html)
## 视频架构
Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/architecture.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/architecture.html)
[v4l2h264enc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/v4l2h264enc.html) 和 [v4l2h265enc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/v4l2h265enc.html) 视频编码插件与摄像头插件连接以实现高级视频编码（H.264 或 H.265）用例。[v4l2h264dec](https://docs.qualcomm.com/doc/80-70022-50SC/topic/v4l2h264dec.html) 和 [v4l2h265dec](https://docs.qualcomm.com/doc/80-70022-50SC/topic/v4l2h265dec.html) 视频解码插件与 Waylandsink 连接以实现视频播放用例。
### 编码
下图展示了视频编码的架构。将 v4l2h264enc 和 v4l2h265enc 插件连接到文件复用器（MP4 或 MPEGTS），从而将编码后的码流保存到文件系统中。
有关视频编码用例，请参见[视频编码与解码](https://docs.qualcomm.com/doc/80-70022-50SC/topic/camera-and-video-encode.html)。
Figure : 视频编码 pipeline
Table : 视频编码组件
| 组件 | 说明 |
| --- | --- |
| qtiqmmfsrc | 并行采集和提供多个视频流。有关摄像头服务的更多信息，请参见[摄像头架构](https://docs.qualcomm.com/doc/80-70022-50SC/topic/architecture.html#camera)。 |
| 视频编码插件 | 使用 V4L2 驱动程序和 API 对视频流进行编码。 |
| H.264/H.265 parse | 渲染视频流。 |
| Filemux | 多路复用编码的视频流并保存到文件中。 |
### 解码
下图展示了视频解码的架构，其中对来自文件的视频流进行解复用、解码，并显示在本地设备上。
解码参数作为属性公开给应用程序，以提供对视频解码 pipeline 的控制。
Figure : 视频解码 pipeline
有关视频解码用例，请参见[视频播放用例](https://docs.qualcomm.com/doc/80-70022-50SC/topic/video-playback-use-cases.html)。
Table : 视频解码组件
| 组件 | 说明 |
| --- | --- |
| 视频解码插件 | 使用 V4L2 驱动程序和 API 来解码视频流，并与 Waylandsink 插件连接。 |
| Waylandsink |
- 接收 GBM 缓存（解码缓存）作为输入。
- 将它们发送至 Weston 服务器（通过 Wayland 协议）进行显示合成。
|
## 音频架构
Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/architecture.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/architecture.html)
对于音频采集和播放，请使用 [pulsesrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/pulsesrc.html) 和 [pulsesink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/pulsesink.html) GStreamer 插件。借助开源软件，您能够对音频进行编码和解码。
### 采集
下图展示了使用 pulsesrc 插件采集音频的过程。然后，处理音频流并将其写入文件。
Figure : 音频采集 pipeline
Table : 音频采集组件
| 组件 | 说明 |
| --- | --- |
| Pulsesrc |
- 采集音频并将其与底层 PulseAudio 服务器共享。
- 设置从中采集脉冲编码调制（PCM）音频样本的音频源。
- 将 PCM 示例保存到文件中。
|
| PulseAudio server |
- 与 Qualcomm 硬件交互。
- 使用可插拔模块与 ALSA 驱动程序交互以处理音频数据。
|
### Playback
可使用 pulsesink 插件实现音频播放。这是一个上游插件，可播放来自各种音频源（实时源或经过编码的音频文件）的音频。
Figure : 音频播放 pipeline
Table : 音频播放组件
| 组件 | 说明 |
| --- | --- |
| Pulsesink |
- 与底层 PulseAudio 服务器交互。
- 设置用于播放音频的音频播放接收端。
- 仅播放 PCM 数据。
|
| PulseAudio server |
- 与 Qualcomm 硬件交互。
- 使用可插拔模块与 ALSA 驱动程序交互，以处理用于播放的音频数据。
|
### 编码
您可以使用开源音频编码器插件对音频进行编码。
Figure : 音频编码 pipeline
Table : 音频编码组件
| 组件 | 说明 |
| --- | --- |
| Pulsesrc | 采集音频并将其与底层 PulseAudio 服务器共享。 |
| PulseAudio server | 与 ALSA 驱动程序交互以处理音频数据以进行编码。 |
| Encode | 使用开源软件对音频数据进行编码。 |
| Parse | 解析音频数据。 |
| Filemux | 多路复用并将其保存在 MP4 或 MPEGTS 容器中。 |
### 解码
您可以使用开源音频解码器插件对音频进行解码。
Figure : 音频解码 pipeline
Table : 音频解码组件
| 组件 | 说明 |
| --- | --- |
| Filesrc | 读取音频数据。 |
| Stream demux | 对音频数据进行解复用。 |
| Decode | 使用开源软件解码音频数据。 |
| Pulsesink | 与底层 PulseAudio 服务器交互并播放解码的音频。 |
| PulseAudio server | 与 ALSA 驱动程序交互以处理音频数据进行解码。 |
## 机器学习架构
Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/architecture.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/architecture.html)
Qualcomm IM SDK 支持包含视频预处理、模型推理、输出张量后处理以及将推理结果叠加到流的机器学习用例。
机器学习框架提供以下类型的视频分析：
- 图像分类
- 目标检测
- 图像分割
使用框架中的机器学习插件，使用以下命令进行推理：
- [LiteRT](https://ai.google.dev/edge/litert)（或 TFLite）
- [Qualcomm Neural Processing SDK](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-2/overview.html)
对于每个引擎，delegate 可加速模型推理性能。
### ML pipeline 处理
下图描述了采集的视频/音频流由预处理、推理和后处理插件进行处理的 pipeline。
Figure : ML pipeline
下表列出了采集、处理视频/音频流以及将输出显示在屏幕上或保存到文件中的顺序阶段。
Table : ML pipeline 处理阶段
| 处理过程 | 说明 |
| --- | --- |
| 采集 |
- qtiqmmfsrc 从实时摄像头源采集 YUV 流。
- filesrc 插件从需要格式转换的离线视频中采集任何格式。
|
| 预处理 | [qtimlvconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlvconverter.html)执行以下操作以准备用于推理的视频流： |
| 推理 |
- 预处理的数据以张量格式发送到推理插件。
- 推理插件将此数据发送到机器学习引擎：
|
| 后处理 | 输出张量被传递到后处理插件： |
| 叠加层 | 解释机器学习元数据的覆盖插件。
- qtivoverlay 在缓存上绘制适当的叠加层，以便实时可视化推理结果。
- 流可以呈现到显示器上，通过网络流传输，或者编码并存储到本地存储。
|
| 发送 | |
### 相关信息
[运行机器学习用例](https://docs.qualcomm.com/doc/80-70022-50SC/topic/machine-learning-use-cases.html)
Last Published: Nov 05, 2025
[Previous Topic
Qualcomm GStreamer 架构和插件](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/gst-plugin-architecture.md) [Next Topic
配置 Qualcomm GStreamer 插件](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/qim-sdk-plugins.md)