# 人脸检测 Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-face-detection.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-face-detection.html) **gst-ai-face-detection** 应用程序从摄像头、文件或 RTSP 流中采集实时视频输入，并使用 Qualcomm AI Engine direct 和 LiteRT 人脸检测模型生成预览，在 HDMI 显示器上叠加显示 AI 模型输出。 Note: 此应用程序在 Ubuntu Server 上不受支持。 下图展示了一个 pipeline：接收输入，对其进行预处理，在 AI 硬件上运行推理，并在屏幕上显示结果。 有关 pipeline 流中使用的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-face-detection.html#gst-ai-face-detection__section_kjz_ll3_4dc)。 Figure : gst-ai-face-detection pipeline gst_ai_face_detection_pipeline Sheet.2 Sheet.3 Sheet.4 Sheet.13 tee tee Sheet.14 qtimetamux qtimetamux Sheet.15 Sheet.16 Sheet.17 Sheet.18 Sheet.19 Sheet.20 Sheet.21 Sheet.22 Waylandsink Waylandsink Sheet.26 qtivoverlay qtivoverlay Sheet.28 Sheet.29 Sheet.30 Sheet.31 Sheet.32 Sheet.33 Sheet.34 Sheet.35 Sheet.36 Sheet.37 Sheet.38 Sheet.39 Sheet.41 rtspsrc rtspsrc Sheet.42 Sheet.43 Sheet.44 Sheet.45 Sheet.46 rtph264 depay rtph264depay Sheet.47 Sheet.48 Sheet.49 Sheet.50 h264parse h264parse Sheet.51 Sheet.52 Sheet.53 Sheet.54 V4l2h264dec V4l2h264dec Sheet.55 Sheet.56 Sheet.57 Sheet.62 Sheet.63 Sheet.64 Sheet.65 Sheet.66 filesrc filesrc Sheet.67 Sheet.68 Sheet.69 Sheet.70 Sheet.71 qtdemux qtdemux Sheet.72 Sheet.73 Sheet.74 Sheet.75 h264parse h264parse Sheet.76 Sheet.77 Sheet.78 Sheet.79 V4l2h264dec V4l2h264dec Sheet.80 Sheet.81 Sheet.82 Sheet.87 qtiqmmfsrc qtiqmmfsrc Sheet.88 Sheet.89 Sheet.90 Sheet.91 Sheet.94 Sheet.95 Sheet.96 Sheet.97 Sheet.98 Sheet.99 Sheet.100 qtimlvconverter qtimlvconverter Sheet.101 Sheet.102 Sheet.103 Sheet.104 qtimlqnn qtimlqnn Sheet.105 Sheet.106 Sheet.107 Sheet.108 qtimlpostprocess qtimlpostprocess Sheet.109 Sheet.110 Sheet.111 Sheet.115 sink_1 sink_1 Sheet.116 sink_0 sink_0 Sheet.118 Sheet.119 Sheet.120 Sheet.121 Sheet.122 Sheet.123 Sheet.124 qtimlvconverter qtimlvconverter Sheet.125 Sheet.126 Sheet.127 Sheet.128 qtimlqnn qtimlqnn Sheet.129 Sheet.130 Sheet.131 Sheet.132 qtimlpostprocess qtimlpostprocess Sheet.133 Sheet.134 Sheet.135 Sheet.139 sink_1 sink_1 Sheet.140 sink_0 sink_0 Sheet.142 Sheet.143 Sheet.144 Sheet.145 Sheet.146 Sheet.147 Sheet.148 qtimlvconverter qtimlvconverter Sheet.149 Sheet.150 Sheet.151 Sheet.152 qtimlqnn qtimlqnn Sheet.153 Sheet.154 Sheet.155 Sheet.156 qtimlpostprocess qtimlpostprocess Sheet.157 Sheet.158 Sheet.159 Sheet.163 sink_1 sink_1 Sheet.164 sink_0 sink_0 Sheet.165 Sheet.7 Qualcomm Qualcomm Sheet.8 Sheet.10 开源 开源 Sheet.11 ## 示例模型和标签文件 | Runtime | 模型文件 | 标签文件 | | --- | --- | --- | | LiteRT | face_det_lite_quantized.tflite | face_detection.json | | Qualcomm AI Engine Direct | face_det_lite_quantized.bin | face_detection.json | | | | | ## 在目标设备上运行应用程序 示例应用程序使用 `/etc/configs/config_face_detection.json`文件读取输入参数。 要创建自己的 config JSON 文件，请使用 [config_face_detection.json](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-sample-apps/gst-ai-face-detection/config_face_detection.json?ref_type=heads) 作为参考。 1. 确保您已完成[前提条件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/download-model-and-label-files.html)。 2. 根据模型、输入流和其他属性更新 config JSON 文件。关于更多详细信息，请参阅 [Config JSON 字段说明](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-face-detection.html#gst-ai-face-detection__section_txh_cm4_q2c)。 3. 使用以下格式的 `config_face_detection.json`文件： { "file-path": "", "ml-framework": "", "model": ", "runtime": """ }Copy to clipboard 例如，使用 LiteRT、输入视频文件、自定义模型、自定义标签文件、DSP runtime 和自定义阈值来运行应用程序： { "file-path": "/etc/media/video.mp4", "ml-framework": "tflite", "model":"/etc/models/face_det_lite_quantized.tflite", "labels": "/etc/labels/face_detection.json", "threshold": 51, "runtime": "dsp" }Copy to clipboard 4. 运行 gst-ai-face-detection 应用程序： gst-ai-face-detection --config-file=/etc/configs/config_face_detection.jsonCopy to clipboard 5. 请在 SSH shell 中运行以下命令，以显示可用的帮助选项： gst-ai-face-detection -hCopy to clipboard 6. 要停止用例，请按 CTRL + C。 ## Pipeline 流 下表列出了人脸检测 pipeline 中使用的插件： | 插件 | 说明 | | --- | --- | | 摄像头源：[qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtiqmmfsrc.html) |

  • 从摄像头采集实时流。


  • 使用 tee 拆分流进行推理。


| | RTSP 源：rtspsrc |

  • 使用 rtspsrc 采集 RTSP 流，然后使用 rtph264depay 进行视频提取。


  • 使用 tee 拆分流进行推理。


| | h264parse | 渲染 H.264 视频。 | | [v4l2h264dec](https://docs.qualcomm.com/doc/80-70022-50SC/topic/v4l2h264dec.html) | 解码视频 | | [qtimlvconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlvconverter.html) |

  1. 在其接收端口上接收视频流。


  2. 对流数据执行以下预处理。当模型需要浮点值作为输入时，会执行此预处理。

    1. 颜色转换


    2. 缩放（放大或缩小）


    3. 归一化





  3. 将预处理的视频流转换为其发送端口上的张量数据流。





张量数据流用于 pipeline 后期的推理。 | | | 用作推理插件。

  1. 推理 runtime 在其接收端口上接收到张量数据后，插件将运行推理。


  2. 生成一个张量数据流，并在其发送端口上显示推理结果。


| | qtimlpostprocess |

  • 处理来自任何人脸检测模型的推理结果。


  • 将阈值应用于所选结果数。


| | [qtimetamux](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimetamux.html) | 接收基于字符串的后处理输出文本及视频帧，并对其进行复用。 | | [qtivoverlay](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtioverlay.html) |

  1. 接收复用流。


  2. 将边界框叠加在流上。


| | [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |

  1. Waylandsink 将其接收端口上接收的视频流提交给 Weston。


  2. Weston 在本地显示器上渲染视频流。


| ## Config JSON 字段说明 可用于配置 JSON 文件和运行用例的不同参数如下： Table : 字段说明 – gst-ai-face-detection 文件 | 字段 | 值/描述 | | --- | --- | | **ml-framework** | 请使用以下模型之一：

  • tflite：LiteRT


  • qnn：Qualcomm AI Engine direct


| | **runtime** | 请使用以下 runtime 之一：

  • cpu


  • gpu


  • dsp


| | **Input source** | 请使用以下输入源之一：

  • camera：主 (0) 或辅助 (1)。


  • file-path：视频文件的目录路径。


  • rtsp-ip-port：RTSP
    流地址：rtsp://<ip>:<port>/<stream>。


| ## 已知问题 如果人脸远离摄像头，检测准确度会下降。 ## 相关信息 [目标检测](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-object-detection.html) **Parent Topic:** [运行 AI/ML 示例应用程序](https://docs.qualcomm.com/doc/80-70022-50SC/topic/ai-ml-sample-applications.html) Last Published: Nov 05, 2025 [Previous Topic AI 智能 codec](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/ai-smart-codec.md) [Next Topic 人脸识别](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/gst-ai-face-recognition.md)