# 使用 LiteRT 进行图像分类和显示 Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/single-camera-stream-with-image-classification-and-display-with-litert.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/single-camera-stream-with-image-classification-and-display-with-litert.html) 这些用例使用 Inceptionv3 LiteRT 模型对单个摄像头流中的场景进行分类，并叠加或合成分类标签。 ## 使用 qtivoverlay 插件来应用分类叠加 在目标设备上运行此用例： gst-launch-1.0 -e --gst-debug=2 qtiqmmfsrc name=camsrc ! video/x-raw,format=NV12_Q08C,width=1280,height=720,framerate=30/1 ! queue ! \ tee name=split split. ! queue ! qtimetamux name=metamux ! queue ! qtivoverlay ! queue ! waylandsink fullscreen=true \ split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=external external-delegate-path=libQnnTFLiteDelegate.so \ external-delegate-options="QNNExternalDelegate,backend_type=htp;" model=/etc/models/inception_v3_quantized.tflite ! queue ! \ qtimlpostprocess settings="{\"confidence\": 40.0}" results=2 module=mobilenet-softmax labels=/etc/labels/classification.json ! text/x-raw ! queue ! metamux.Copy to clipboard 要停止用例，请使用 CTRL + C。 下图显示了用例执行的流程： 1. 对从摄像头源传来的视频流中的场景进行分类。 2. 使用 overlaylib 叠加分类标签。 3. 显示结果。 Figure : 分类叠加 pipeline pipeline_classification_overlay Sheet.3 Sheet.4 Sheet.15 camsrc camsrc Sheet.18 Sheet.19 Sheet.21 Sheet.22 Sheet.24 tee tee Sheet.27 qtimlvconverter qtimlvconverter Sheet.30 Sheet.31 Sheet.33 qtimltflite qtimltflite Sheet.36 Sheet.37 Sheet.39 qtimlpostprocess qtimlpostprocess Sheet.42 Sheet.43 Sheet.45 qtivcomposer qtivcomposer Sheet.48 Sheet.49 Sheet.51 Waylandsink Waylandsink Sheet.54 Sheet.55 Sheet.56 Sheet.7 Qualcomm Qualcomm Sheet.8 Sheet.10 开源 开源 Sheet.11 下表列出了 pipeline 执行的顺序处理阶段： | 处理过程 | 说明 | | --- | --- | | [qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtiqmmfsrc.html) |

  1. 采集视频流（源）并创建源的两个副本：


| | **预处理** | **预处理** | | [qtimlvconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlvconverter.html) |

  1. 在其接收端口上接收视频流。


  2. 执行预处理：


  3. 在其发送端口上将视频流转换为张量数据。

    分类模型使用此张量数据进行推理。




| | **推理** | **推理** | | [qtimltflite](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimltflite.html) |

  1. 加载模型。


  2. 为选择的 delegate 修改图。


  3. 在其接收端口上接收张量数据。


  4. 执行推理并在其发送端口上生成包含推理结果的张量数据。


| | **后处理** | **后处理** | | qtimlpostprocess |

  1. 从其接收端口上的分类模型接收推理张量。


  2. 将张量转换为多媒体插件稍后可以处理的视频或文本等格式。


  3. 将阈值应用于所选的结果数。


  4. 加载分类模型的相应模块。

    在此用例中，qtimlpostprocess 执行以下操作：


    1. 加载模型的子模块。


    2. 将结果生成为文本结构。


    3. 接着发送到 qtimetamux 的接收端口。





| | [qtimetamux](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimetamux.html) |

  1. 接收视频流和文本流，其接收端口上的分类结果与视频流相对应。


  2. 在其接收端口上生成包含视频流内容的 GST 缓冲存。


  3. 将数据接收端口上的分类结果添加到其发送端口上的 GST 缓存元数据（元复用）。


| | [qtivoverlay](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtioverlay.html) |

  1. 接收多路复用流。


  2. 使用 CL 将分类标签叠加在 VideoFrame 上。


  3. 在其发送端口上生成带有叠加层的 GST 缓存。


| | **输出** | **输出** | | [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |

  1. 在其接收端口上接收视频流。


  2. 将视频流提交到 Weston。


  3. Weston 在本地显示设备上渲染视频流和为该场景生成的可能分类。


| ## 使用 qtivcomposer 混合原始帧与分类遮罩 在目标设备上运行此用例： gst-launch-1.0 -e --gst-debug=2 qtiqmmfsrc name=camsrc ! video/x-raw,format=NV12_Q08C,width=1280,height=720,framerate=30/1 ! queue ! \ tee name=split split. ! queue ! qtivcomposer name=mixer sink_1::position="<30, 30>" sink_1::dimensions="<480, 480>" ! queue ! waylandsink fullscreen=true \ split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=external external-delegate-path=libQnnTFLiteDelegate.so \ external-delegate-options="QNNExternalDelegate,backend_type=htp;" model=/etc/models/inception_v3_quantized.tflite ! queue ! \ qtimlpostprocess settings="{\"confidence\": 40.0}" results=2 module=mobilenet-softmax labels=/etc/labels/classification.json ! \ video/x-raw,format=BGRA,width=640,height=480 ! queue ! mixer.Copy to clipboard 要停止用例，请按 CTRL + C。 下图显示了用例执行的流程： 1. 对从摄像头源传来的视频流中的场景进行分类。 2. 使用 qtivcomposer 合成分类标签和视频流。 3. 显示结果。 Figure : 使用 qtivcomposer 进行分类的 pipeline pipeline_classification_with_qt Sheet.3 Sheet.4 Sheet.15 camsrc camsrc Sheet.18 Sheet.19 Sheet.21 Sheet.22 Sheet.24 tee tee Sheet.27 qtimlvconverter qtimlvconverter Sheet.30 Sheet.31 Sheet.33 qtimltflite qtimltflite Sheet.36 Sheet.37 Sheet.39 qtimlpostprocess qtimlpostprocess Sheet.42 Sheet.43 Sheet.45 qtivcomposer qtivcomposer Sheet.48 Sheet.49 Sheet.51 Waylandsink Waylandsink Sheet.54 Sheet.55 Sheet.63 Sheet.7 Qualcomm Qualcomm Sheet.8 Sheet.10 开源 开源 Sheet.11 下表列出了 pipeline 执行的顺序处理阶段： | 处理过程 | 说明 | | --- | --- | | [qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtiqmmfsrc.html) |

  1. 采集视频流（源）并创建源的两个副本：


| | **预处理** | **预处理** | | [qtimlvconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlvconverter.html) |

  1. 在其接收端口上接收视频流。


  2. 执行预处理：


  3. 在其发送端口上将视频流转换为张量数据。

    分类模型使用此张量数据进行推理。




| | **推理** | **推理** | | [qtimltflite](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimltflite.html) |

  1. 加载模型。


  2. 为选择的 delegate 修改图。


  3. 在其接收端口上接收张量数据。


  4. 执行推理并在其发送端口上生成包含推理结果的张量数据。


| | **后处理** | **后处理** | | qtimlpostprocess |

  1. 从其接收端口上的分类模型接收推理结果。


  2. 将推理张量转换为视频或文本等格式，稍后由多媒体插件进行处理。


  3. 将阈值应用于所选的结果数。


  4. 加载分类模型的相应模块。

    在此用例中，qtimlpostprocess 执行以下操作：


    1. 加载模型的子模块。


    2. 将结果生成为带有分类标签的视频帧。


    3. 将它们发送至 qtivcomposer 的接收端口。





| | [qtivcomposer](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtivcomposer.html) |

  1. 在接收端口上接收原始视频流和分类结果。


  2. 在其发送端口上生成 GST 缓存，其内容由来自其接收端的视频流组成。


| | **输出** | **输出** | | [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |

  1. 在其接收端口上接收视频


  2. 将视频流提交到 Weston。


  3. Weston 在本地显示设备上渲染视频流和为该场景生成的可能分类。


| **Parent Topic:** [LiteRT 用例](https://docs.qualcomm.com/doc/80-70022-50SC/topic/tensorflow-lite-use-cases.html) Last Published: Nov 05, 2025 [Previous Topic LiteRT 用例](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/tensorflow-lite-use-cases.md) [Next Topic 使用 LiteRT 进行图像分类和编码](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/single-camera-stream-with-image-classification-and-encode.md)