# 使用 TFLite 进行姿态估计和编码
Source: [https://docs.qualcomm.com/doc/80-70014-50Y/topic/single-camera-stream-with-pose-estimation-and-encode.html](https://docs.qualcomm.com/doc/80-70014-50Y/topic/single-camera-stream-with-pose-estimation-and-encode.html)
这些用例使用 PoseNet TFLite 模型处理具有姿态估计的单个摄像头流，并将该数据流编码为 H.264 比特流。
## **变体 1：使用 qtioverlay 插件应用姿态估计叠加**
使用以下命令来执行用例：
setprop persist.overlay.use_c2d_blit 2Copy to clipboard
gst-launch-1.0 -e \
qtiqmmfsrc name=camsrc ! video/x-raw\(memory:GBM\),format=NV12,width=1280,height=720,framerate=30/1,compression=ubwc ! queue ! tee name=split \
split. ! queue ! qtimetamux name=metamux ! queue ! qtioverlay ! queue ! v4l2h264enc capture-io-mode=5 output-io-mode=5 ! h264parse ! queue ! mp4mux ! queue ! filesink location=/opt/video.mp4 \
split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=external external-delegate-path=libQnnTFLiteDelegate.so external-delegate-options="QNNExternalDelegate,backend_type=htp;" model=/opt/posenet_mobilenet_v1.tflite ! queue ! qtimlvpose threshold=51.0 results=2 module=posenet labels=/opt/posenet_mobilenet_v1.labels constants="Posenet,q-offsets=<128.0,128.0,117.0>,q-scales=<0.0784313753247261,0.0784313753247261,1.3875764608383179>;" ! text/x-raw ! queue ! metamux.Copy to clipboard
如需停止用例，请按下 CTRL + C。
Figure : 使用 qtioverlay 进行姿态估计和编码的 pipeline
下图显示了用例执行流程：
1. 从从摄像头源传来的视频流中识别场景中人物的姿势。
2. 使用 overlaylib 叠加可用的姿势。
3. 将此数据流编码为 H.264 比特流。
4. 将数据流多路复用到 MP4 容器中，并将其存储为 MP4 文件。
pipeline 执行的顺序处理阶段如下表所示：
| 处理过程 | 说明 |
| --- | --- |
| [qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70014-50Y/topic/qtiqmmfsrc.html) |
- 采集视频流（源）并创建源的两个副本：
- 一个视频流被发送到 qtimetamux 插件以保留视频流。
- 另一个视频流被发送到 ML 推理 pipeline。
|
| **预处理** | **预处理** |
| [qtimlvconverter](https://docs.qualcomm.com/doc/80-70014-50Y/topic/qtimlvconverter.html) |
- 在其接收设备接插口上接收视频流。
- 执行预处理：
- 色彩转换
- 缩小/放大
- 在模型需要浮点值作为输入时，对流数据进行归一化
- 在其源接插口上将视频流转换为张量数据。
PoseNet 模型使用此张量数据进行推理。
|
| **推理** | **推理** |
| [qtimltflite](https://docs.qualcomm.com/doc/80-70014-50Y/topic/qtimltflite.html) |
- 加载 PoseNet 模型。
- 为选择的 delegate 修改图形。
- 在其接收设备接插口上接收张量数据。
- 执行推理并在其源接插口上生成带有姿态估计结果的张量数据。
|
| **后处理** | **后处理** |
| [qtimlvpose](https://docs.qualcomm.com/doc/80-70014-50Y/topic/qtimlvpose.html) |
- 从其接收设备接插口上的 PoseNet 模型接收推理张量。
- 将张量转换为视频或文本等格式，稍后可由多媒体插件进行处理。
- 将阈值应用于所选的结果数。
- 加载姿态估计模型的相应模块。
在此用例中，qtimlvpose 执行以下操作：
- 加载 PoseNet 子模块。
- 将结果生成为文本结构。
- 接着发送到 qtimetamux 的接收设备接插口。
|
| [qtimetamux](https://docs.qualcomm.com/doc/80-70014-50Y/topic/qtimetamux.html) |
- 在其接收设备接插口上接收视频流和文本流，以及与视频流相对应的姿势结果。
- 在其接收设备接插口上生成包含视频流内容的 GST 缓冲区。
- 将姿势从数据接收设备接插口添加到其源接插口上的 GST 缓冲区元数据（元数据多路复用）。
|
| [qtioverlay](https://docs.qualcomm.com/doc/80-70014-50Y/topic/qtioverlay.html) |
- 接收多路复用流。
- 使用 CL 将姿势叠加在 VideoFrame 上。
- 在其源接插口上生成带有叠加层的 GST 缓冲区。
|
| [v4l2h264enc](https://docs.qualcomm.com/doc/80-70014-50Y/topic/v4l2h264enc.html) |
- 将参数应用于在接收设备上接收的视频流的每一帧。
- 将其编码为比特流，并通过其源接插口发送。
|
| h264parse | 将与比特流对应的其他信息添加到 GStreamer 缓冲区元数据。 |
| mp4mux | 接收缓冲区并创建容器格式规范缓冲区。 |
| **输出** | **输出** |
| Filesink | 将生成的数据流存储在 /opt/video.mp4 文件中。 |
| Playback | 使用以下命令从主机拉取 video.mp4 并在媒体播放器应用上播放：
`scp root@:/opt/ ` |
## 变体 2：使用 qtivcomposer 混合原始帧与姿态估计掩码
使用以下命令来执行用例：
gst-launch-1.0 -e --gst-debug=2 \
qtiqmmfsrc name=camsrc ! video/x-raw\(memory:GBM\),format=NV12,width=1280,height=720,framerate=30/1,compression=ubwc ! queue ! tee name=split \
split. ! queue ! qtivcomposer name=mixer sink_1::dimensions="<1920,1080>" ! queue ! video/x-raw\(memory:GBM\),format=NV12,width=1920,height=1080,interlace-mode=progressive,colorimetry=bt601 ! v4l2h264enc capture-io-mode=5 output-io-mode=5 ! h264parse ! queue ! mp4mux ! queue ! filesink location=/opt/video.mp4 \
split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=external external-delegate-path=libQnnTFLiteDelegate.so external-delegate-options="QNNExternalDelegate,backend_type=htp;" model=/opt/posenet_mobilenet_v1.tflite ! queue ! qtimlvpose threshold=51.0 results=2 module=posenet labels=/opt/posenet_mobilenet_v1.labels constants="Posenet,q-offsets=<128.0,128.0,117.0>,q-scales=<0.0784313753247261,0.0784313753247261,1.3875764608383179>;" ! video/x-raw,format=BGRA,width=640,height=360 ! queue ! mixer.Copy to clipboard
如需停止用例，请按下 CTRL + C。
Figure : 使用 qtivcomposer 进行姿态估计和编码的 pipeline
下图显示了用例执行流程：
- 对从摄像头源传来的视频流中的场景进行分类。
- 使用 qtivcomposer 合成姿势和视频流。
- 将此数据流编码为 H.264 比特流。
- 在 MP4 容器中多路复用并存储为 MP4 文件。
pipeline 执行的顺序处理阶段如下表所示：
| 处理过程 | 说明 |
| --- | --- |
| [qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70014-50Y/topic/qtiqmmfsrc.html) |
- 采集视频流（源）并创建源的两个副本：
- 一个视频流被发送到 qtivcomposer 插件以保留视频流。
- 另一个视频流被发送到 ML 推理 pipeline。
|
| **预处理** | **预处理** |
| [qtimlvconverter](https://docs.qualcomm.com/doc/80-70014-50Y/topic/qtimlvconverter.html) |
- 在其接收设备接插口上接收视频流。
- 执行预处理：
- 色彩转换
- 缩小/放大
- 在模型需要浮点值作为输入时，对流数据进行归一化
- 在其源接插口上将视频流转换为张量数据。
PoseNet 模型使用此张量数据进行推理。
|
| **推理** | **推理** |
| [qtimltflite](https://docs.qualcomm.com/doc/80-70014-50Y/topic/qtimltflite.html) |
- 加载 PoseNet 模型。
- 为选择的 delegate 修改图形。
- 在其接收设备接插口上接收张量数据。
- 执行推理并在其源接插口上生成带有姿态估计结果的张量数据。
|
| **后处理** | **后处理** |
| [qtimlvpose](https://docs.qualcomm.com/doc/80-70014-50Y/topic/qtimlvpose.html) |
- 从其接收设备接插口上的 PoseNet 模型接收推理张量。
- 将张量转换为视频或文本等格式，稍后可由多媒体插件进行处理。
- 将阈值应用于所选的结果数。
- 加载姿态估计模型的相应模块。
在此用例中，qtimlvpose 执行以下操作：
- 加载 PoseNet 子模块。
- 将结果生成为所绘制姿势的视频帧。
- 接着发送到 qtivcomposer 的接收设备接插口。
|
| |
- 在接收设备接插口上接收原始视频流和姿势视频流。
- 在其源接插口上，生成 GST 缓冲区，其内容由来自其接收设备接插口的视频流组成。
|
| [qtioverlay](https://docs.qualcomm.com/doc/80-70014-50Y/topic/qtioverlay.html) |
- 接收多路复用流。
- 使用 CL 将姿势叠加在 VideoFrame 上。
- 在其源接插口上生成带有叠加层的 GST 缓冲区。
|
| [v4l2h264enc](https://docs.qualcomm.com/doc/80-70014-50Y/topic/v4l2h264enc.html) |
- 将参数应用于在接收设备上接收的视频流的每一帧。
- 将其编码为比特流，并通过其源接插口发送。
|
| h264parse | 将与比特流对应的其他信息添加到 GStreamer 缓冲区元数据。 |
| mp4mux | 接收缓冲区并创建容器格式规范缓冲区。 |
| **输出** | **输出** |
| Filesink | 将生成的数据流存储在 /opt/video.mp4 文件中。 |
| Playback | 使用以下命令从主机拉取 video.mp4 并在媒体播放器应用上播放：
`scp root@:/opt/ ` |
**Parent Topic:** [TensorFlow Lite 用例](https://docs.qualcomm.com/doc/80-70014-50Y/topic/tensorflow-lite-use-cases.html)
Last Published: Nov 11, 2025
[Previous Topic
使用 TFLite 进行姿态估计和显示](https://docs.qualcomm.com/bundle/publicresource/80-70014-50Y/topics/single-camera-stream-with-pose-estimation-and-display.md) [Next Topic
Qualcomm Neural Processing SDK 用例](https://docs.qualcomm.com/bundle/publicresource/80-70014-50Y/topics/qualcomm-neural-processing-sdk-use-cases.md)