# 使用 LiteRT 进行姿态估计和显示 Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/single-camera-stream-with-pose-estimation-and-display.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/single-camera-stream-with-pose-estimation-and-display.html) 这些用例实现了 HRNet LiteRT 模型通过姿态估计来处理单个摄像头流。 ## 使用 qtivoverlay 插件应用姿态估计叠加 在目标设备上运行用例： gst-launch-1.0 -e \ qtiqmmfsrc name=camsrc ! video/x-raw,format=NV12_Q08C,width=1280,height=720,framerate=30/1 ! queue ! tee name=split \ split. ! queue ! qtimetamux name=metamux ! queue ! qtivoverlay ! queue ! waylandsink fullscreen=true sync=false \ split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=external external-delegate-path=libQnnTFLiteDelegate.so \ external-delegate-options="QNNExternalDelegate,backend_type=htp;" model=/etc/models/hrnet_pose_quantized.tflite ! queue ! \ qtimlpostprocess results=2 module=hrnet labels=/etc/labels/hrnet_pose.json settings=/etc/labels/hrnet_settings.json ! text/x-raw ! queue ! metamux.Copy to clipboard 要停止用例，请使用 CTRL + C。 下图显示了用例执行的流程： 1. 从摄像头源传来的视频流中识别场景中人物的姿势。 2. 使用 overlaylib 叠加可用的姿势。 3. 显示结果。 Figure : 姿态估计叠加的 pipeline pipeline_pose_estimation_overla Sheet.3 Sheet.4 Sheet.15 camsrc camsrc Sheet.18 Sheet.19 Sheet.21 Sheet.22 Sheet.24 tee tee Sheet.27 qtimlvconverter qtimlvconverter Sheet.30 Sheet.31 Sheet.33 qtimltflite qtimltflite Sheet.36 Sheet.37 Sheet.39 qtimlpostprocess qtimlpostprocess Sheet.42 Sheet.43 Sheet.45 qtimetamux qtimetamux Sheet.48 Sheet.49 Sheet.51 qtioverlay qtioverlay Sheet.54 Sheet.55 Sheet.57 Waylandsink Waylandsink Sheet.60 Sheet.61 Sheet.70 Sheet.7 Qualcomm Qualcomm Sheet.8 Sheet.10 开源 开源 Sheet.11 下表列出了 pipeline 执行的顺序处理阶段： | 处理过程 | 说明 | | --- | --- | | [qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtiqmmfsrc.html) |

  1. 采集视频流（源）并创建源的两个副本：

    1. 一个被发送到 qtimetamux 插件以保留视频流。


    2. 另一个被发送到 ML 推理 pipeline。





| | **预处理** | **预处理** | | [qtimlvconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlvconverter.html) |

  1. 在其接收端口上接收视频流。


  2. 执行预处理：


  3. 在其发送端口上将视频流转换为张量数据。

    HRNet 模型使用此张量流进行推理。




| | **推理** | **推理** | | [qtimltflite](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimltflite.html) |

  1. 加载 HRNet 模型。


  2. 为选择的 delegate 修改图。


  3. 在其接收端口上接收张量数据。


  4. 运行推理并在其发送端口上生成带有姿态估计结果的张量数据。


| | **后处理** | **后处理** | | qtimlpostprocess |

  1. 从其接收端口上的 HRNet 模型接收推理张量。


  2. 将张量转换为多媒体插件稍后可以处理的视频或文本等格式。


  3. 将阈值应用于所选的结果数。


  4. 加载姿态估计模型的相应模块。

    在此用例中，qtimlpostprocess 执行以下操作：


    1. 加载 HRNet 子模块。


    2. 将结果生成为文本结构。


    3. 接着发送到 qtimetamux 的接收端口。





| | [qtimetamux](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimetamux.html) |

  1. 在其接收端口上接收视频流和文本流，以及与视频流相对应的姿态结果。


  2. 在其接收端口上生成包含视频流内容的 GST 缓冲存。


  3. 将姿态从数据接收端口添加到其发送端口上的 GST 缓存元数据（元复用）。


| | [qtivoverlay](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtioverlay.html) |

  1. 接收多路复用流。


  2. 使用 CL 将姿态叠加在 VideoFrame 上。


  3. 在其发送端口上生成带有叠加层的 GST 缓存。


| | **输出** | **输出** | | [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |

  1. 在其接收端口上接收视频流。


  2. 将视频流提交到 Weston。


  3. Weston 在本地显示设备上渲染以下内容：

    1. 从摄像头采集的视频流。


    2. 为该场景中的多人生成的姿态。





| ## 使用 qtivcomposer 混合原始帧与姿态估计遮罩 在目标设备上运行用例： gst-launch-1.0 -e --gst-debug=2 \ qtiqmmfsrc name=camsrc ! video/x-raw,format=NV12_Q08C,width=1280,height=720,framerate=30/1 ! queue ! tee name=split \ split. ! queue ! qtivcomposer name=mixer ! queue ! waylandsink fullscreen=true sync=false \ split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=external external-delegate-path=libQnnTFLiteDelegate.so external-delegate-options="QNNExternalDelegate,backend_type=htp;" \ model=/etc/models/hrnet_pose_quantized.tflite ! queue ! qtimlpostprocess results=2 module=hrnet labels=/etc/labels/hrnet_pose.json settings=/etc/labels/hrnet_settings.json \ ! video/x-raw,format=BGRA,width=640,height=360 ! queue ! mixer.Copy to clipboard 要停止用例，请使用 CTRL + C。 下图显示了用例执行的流程： 1. 从摄像头源传来的视频流中识别场景中人物的姿态。 2. 使用 qtivcomposer 合成姿态和视频流。 3. 显示结果。 Figure : 使用 qtivcomposer 进行姿态估计遮罩的 pipeline pipeline_pose_estimation_mask_u Sheet.3 Sheet.4 Sheet.15 camsrc camsrc Sheet.18 Sheet.19 Sheet.21 Sheet.22 Sheet.24 tee tee Sheet.27 qtimlvconverter qtimlvconverter Sheet.30 Sheet.31 Sheet.33 qtimltflite qtimltflite Sheet.36 Sheet.37 Sheet.39 qtimlpostprocess qtimlpostprocess Sheet.42 Sheet.43 Sheet.45 qtivcomposer qtivcomposer Sheet.48 Sheet.49 Sheet.51 Waylandsink Waylandsink Sheet.54 Sheet.55 Sheet.64 Sheet.7 Qualcomm Qualcomm Sheet.8 Sheet.10 开源 开源 Sheet.11 下表列出了 pipeline 执行的顺序处理阶段： | 处理过程 | 说明 | | --- | --- | | [qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtiqmmfsrc.html) |

  1. 采集视频流（源）并创建源的两个副本：


| | **预处理** | **预处理** | | [qtimlvconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlvconverter.html) |

  1. 在其接收端口上接收视频流。


  2. 执行预处理：


  3. 在其发送端口上将视频流转换为张量数据。

    HRNet 模型使用此张量流进行推理。




| | **推理** | **推理** | | [qtimltflite](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimltflite.html) |

  1. 加载 HRNet 模型。


  2. 为选择的 delegate 修改图。


  3. 在其接收端口上接收张量数据。


  4. 运行推理并在其发送端口上生成带有姿态估计结果的张量数据。


| | **后处理** | **后处理** | | qtimlpostprocess |

  1. 从其接收端口上的 HRNet 模型接收推理张量。


  2. 将张量转换为多媒体插件稍后可以处理的视频或文本等格式。


  3. 将阈值应用于所选的结果数。


  4. 加载姿态估计模型的相应模块。

    在此用例中，qtimlpostprocess 执行以下操作：


    1. 加载 HRNet 子模块。


    2. 将结果生成为所绘制姿态的视频帧。


    3. 将它们发送至 qtivcomposer 的接收端口。





| | [qtivcomposer](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtivcomposer.html) |

  1. 在接收端口上接收原始视频流和姿态视频流。


  2. 在其发送端口上，生成 GST 缓存，其内容由来自其接收端口的视频流组成。


| | **输出** | **输出** | | [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |

  1. 在其接收端口上接收视频流。


  2. 将视频流提交到 Weston。


  3. Weston 在本地显示设备上渲染以下内容：

    1. 从摄像头采集的视频流。


    2. 为该场景中的多人生成的姿态。





| **Parent Topic:** [LiteRT 用例](https://docs.qualcomm.com/doc/80-70022-50SC/topic/tensorflow-lite-use-cases.html) Last Published: Nov 05, 2025 [Previous Topic 使用 LiteRT 进行图像分割和编码](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/single-camera-stream-with-image-segmentation-and-encode.md) [Next Topic 使用 LiteRT 进行姿态估计和编码](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/single-camera-stream-with-pose-estimation-and-encode.md)