pipeline_segmentation_and

# 使用 Neural Processing SDK 进行图像分割和编码 Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/single-camera-stream-with-image-segmentation-and-encode-with-deeplabv3-quantized.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/single-camera-stream-with-image-segmentation-and-encode-with-deeplabv3-quantized.html) 该用例使用 Qualcomm Neural Processing SDK runtime 实现了 DeepLab v3 模型。该用例将语义分割与原始视频流进行合成，对该流进行编码，然后将其复用到一个 MP4 容器中。 Note: 对于 Ubuntu Server，需要 `sudo` 访问权限才能将编码流写入 `/etc/media` 文件夹。在目标设备上运行用例： gst-launch-1.0 -e --gst-debug=2 \ qtiqmmfsrc name=camsrc ! video/x-raw,format=NV12_Q08C,width=1920,height=1080,framerate=30/1 ! queue ! tee name=split \ split. ! queue ! qtivcomposer name=mixer sink_1::dimensions="<1920,1080>" sink_1::alpha=0.5 ! queue ! v4l2h264enc capture-io-mode=4 output-io-mode=5 ! \ h264parse ! queue ! mp4mux ! queue ! filesink location=/etc/media/video.mp4 \ split. ! queue ! qtimlvconverter ! queue ! qtimlsnpe delegate=dsp model=/etc/models/deeplabv3_resnet50.dlc ! queue ! \ qtimlpostprocess module=deeplab-argmax labels=/etc/labels/deeplabv3_resnet50.json ! video/x-raw,width=640,height=360 ! queue ! mixer.Copy to clipboard 要停止用例，请使用 CTRL + C。下图显示了用例执行的流程： 1. 识别从摄像头源传来的视频流中的场景。 2. 使用 qtivcomposer 合成语义分割和视频流。 3. 将流编码为 H.264 码流并在 MP4 容器中多路复用该流。 Figure : 使用 qtivcomposer 进行图像分割和编码的 pipeline 下表列出了 pipeline 执行的顺序处理阶段： | 处理过程 | 说明 | | --- | --- | | [qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtiqmmfsrc.html) |

采集视频流（源）并创建源的两个副本：
- 一个视频流被发送到 qtivcomposer 插件以保留视频流。
- 另一个流被发送到 pipeline 中的 ML 推理分支。

| | **预处理** | **预处理** | | [qtimlvconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlvconverter.html) |

在其接收端口上接收视频流。

执行预处理：
- 颜色转换
- 缩小/放大
- 在模型需要浮点值作为输入时，对流数据进行归一化

在其发送端口上将视频流转换为张量数据。
分割模型使用此张量数据进行推理。

| | **推理** | **推理** | | [qtimlsnpe](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlsnpe.html) |

加载分割模型。

为选择的 delegate 修改图。

在其接收端口上接收张量数据。

运行推理并在其发送端口上生成包含分割结果的张量数据。

| | **后处理** | **后处理** | | qtimlpostprocess |

在其接收端口上接收推理张量。

将推理张量转换为多媒体插件稍后可以处理的视频格式。

生成帧的语义分割。

加载分割模型的相应模块。
在此用例中，qtimlpostprocess 执行以下操作：
1. 加载 deeplab-argmax 子模块。
2. 生成带有分割遮罩的视频帧。
3. 将它们发送至 qtivcomposer 的接收端口。

| | [qtivcomposer](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtivcomposer.html) |

在其接收端口上接收带有分割遮罩的原始视频流。

在其发送端口上生成 GST 缓存，其内容由来自其接收端口的视频流组成。

| | [v4l2h264enc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/v4l2h264enc.html) |

将参数应用于在接收端口上接收到的视频流的每一帧。

将其编码为码流，并通过其发送端口发送。

| | h264parse | 向 GStreamer 缓存元数据添加更多码流信息。 | | mp4mux | 接收这些缓存并创建具有格式规范缓存的容器。 | | **输出** | **输出** | | Filesink | 将生成的数据流存储在 /etc/media/video.mp4文件中。 | | Playback | 从主机拉取 video.mp4并在媒体播放器上播放：
`scp root@ device>:/etc/media/video.mp4 directory>` | **Parent Topic:** [Qualcomm Neural Processing SDK 用例](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qualcomm-neural-processing-sdk-use-cases.html) Last Published: Nov 05, 2025 [Previous Topic 使用 Neural Processing SDK 进行图像分割和显示](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/single-camera-stream-with-image-segmentation-and-display-with-deeplabv3-quantized.md) [Next Topic 运行多媒体用例](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/multimedia-use-cases.md)