# AI 事件编码器 Source: [https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-event-encoder.html](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-event-encoder.html) **gst-ai-event-encoder** 应用程序接收来自摄像头、文件或 RTSP 源的实时视频流输入。当有人进入视频画面时，应用程序会对视频进行预处理，在 AI 硬件上运行推理，并对视频进行编码。当有人离开画面 5 秒后，编码停止；当有人进入画面时，编码重新开始。 Note: 此应用程序在 Ubuntu Server 上不受支持。 下图显示了事件编码器应用程序的事件检测和录制 pipeline。有关 pipeline 流中使用的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-event-encoder.html#gst_ai_event_encoder__section_tsy_xsy_pgc)。 Figure : gst-ai-event-encoder 事件检测 pipeline gst-ai-event-encoder Sheet.2 Sheet.3 Sheet.4 Sheet.8 事件检测 事件检测 Sheet.9 事件检测 事件检测 Sheet.10 事件检测 事件检测 Sheet.16 tee tee Sheet.17 qtivcomposer qtivcomposer Sheet.18 Waylandsink Waylandsink Sheet.19 appsink appsink Sheet.23 Sheet.24 Sheet.25 Sheet.26 Sheet.27 Sheet.28 Sheet.29 Sheet.30 Sheet.31 Sheet.32 Sheet.33 Sheet.34 Sheet.36 rtspsrc rtspsrc Sheet.37 Sheet.38 Sheet.39 Sheet.40 Sheet.41 rtph264 depay rtph264depay Sheet.42 Sheet.43 Sheet.44 Sheet.45 h264parse h264parse Sheet.46 Sheet.47 Sheet.48 Sheet.49 V4l2h264dec V4l2h264dec Sheet.50 Sheet.51 Sheet.52 Sheet.57 Sheet.58 Sheet.59 Sheet.60 Sheet.61 filesrc filesrc Sheet.62 Sheet.63 Sheet.64 Sheet.65 Sheet.66 qtdemux qtdemux Sheet.67 Sheet.68 Sheet.69 Sheet.70 h264parse h264parse Sheet.71 Sheet.72 Sheet.73 Sheet.74 V4l2h264dec V4l2h264dec Sheet.75 Sheet.76 Sheet.77 Sheet.82 qtiqmmfsrc qtiqmmfsrc Sheet.83 Sheet.84 Sheet.85 Sheet.86 Sheet.87 Sheet.88 Sheet.89 Sheet.90 Sheet.93 Sheet.94 Sheet.95 Sheet.96 sink_0 sink_0 Sheet.97 Sheet.98 Sheet.99 Sheet.100 Sheet.101 Sheet.102 Sheet.103 qtimlvconverter qtimlvconverter Sheet.104 Sheet.105 Sheet.106 Sheet.107 qtimltflite qtimltflite Sheet.108 Sheet.109 Sheet.110 Sheet.114 Sheet.115 Sheet.116 Sheet.117 qtimlpostprocess qtimlpostprocess Sheet.119 Sheet.120 Sheet.121 Sheet.122 qtimlpostprocess qtimlpostprocess Sheet.125 Sheet.126 Sheet.127 Sheet.128 Sheet.129 Sheet.130 Sheet.131 tee tee Sheet.133 sink_1 sink_1 Sheet.134 video/x-raw video/x-raw Sheet.135 text/x-raw text/x-raw Sheet.136 sink_0 sink_0 Sheet.137 Sheet.138 Sheet.139 Sheet.140 sink_0 sink_0 Sheet.141 appsink appsink Sheet.142 Sheet.143 Sheet.144 Sheet.145 qtimlvconverter qtimlvconverter Sheet.146 Sheet.147 Sheet.148 Sheet.149 qtimltflite qtimltflite Sheet.150 Sheet.151 Sheet.152 Sheet.156 Sheet.157 Sheet.158 Sheet.159 qtimlpostprocess qtimlpostprocess Sheet.161 Sheet.162 Sheet.163 Sheet.164 qtimlpostprocess qtimlpostprocess Sheet.167 Sheet.168 Sheet.169 Sheet.170 Sheet.171 Sheet.172 Sheet.173 tee tee Sheet.175 sink_1 sink_1 Sheet.176 video/x-raw video/x-raw Sheet.177 text/x-raw text/x-raw Sheet.178 appsink appsink Sheet.179 Sheet.180 Sheet.181 Sheet.182 qtimlvconverter qtimlvconverter Sheet.183 Sheet.184 Sheet.185 Sheet.186 qtimltflite qtimltflite Sheet.187 Sheet.188 Sheet.189 Sheet.193 Sheet.194 Sheet.195 Sheet.196 qtimlpostprocess qtimlpostprocess Sheet.198 Sheet.199 Sheet.200 Sheet.201 qtimlpostprocess qtimlpostprocess Sheet.204 Sheet.205 Sheet.206 Sheet.207 Sheet.208 Sheet.209 Sheet.210 tee tee Sheet.212 sink_1 sink_1 Sheet.213 video/x-raw video/x-raw Sheet.214 text/x-raw text/x-raw Sheet.215 Sheet.7 Qualcomm Qualcomm Sheet.11 Sheet.13 开源 开源 Sheet.14 Figure : gst-ai-event-encoder 录制 pipeline Layer_3 Sheet.2 Sheet.3 Sheet.5 Sheet.6 Sheet.11 Sheet.12 Sheet.14 Sheet.15 Sheet.17 Sheet.18 Sheet.20 Sheet.21 Sheet.22 appsrc appsrc Sheet.24 文件 文件 Sheet.25 v4l2h264enc v4l2h264enc Sheet.27 mp4mux mp4mux Sheet.29 filesink filesink Sheet.30 Sheet.8 开源 开源 Sheet.9 ## 示例模型和标签文件 Table : gst-ai-event-encoder 的示例模型和标签文件 | Runtime | 模型文件 | 标签文件 | | :--- | :--- | :--- | | LiteRT | *yolox\_quantized.tflite* | *yolox.json* | ## 在目标设备上运行应用程序 使用以下命令来运行应用程序 gst-ai-event-encoder --config-file=/etc/configs/config-event-encoder.jsonCopy to clipboard 示例应用程序使用 /etc/configs/config-event-encoder.json文件读取输入参数。 要创建您自己的 config JSON 文件，请使用 [config-event-encoder.json](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-sample-apps/gst-ai-event-encoder/config-event-encoder.json?ref_type=heads) 作为参考。 1. 确保您已完成[前提条件](https://docs.qualcomm.com/doc/80-70022-50SC/topic/download-model-and-label-files.html)。 2. 根据模型、输入流和其他属性更新 config JSON 文件。关于更多详细信息，请参阅 [Config JSON 字段说明](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-event-encoder.html#gst_ai_event_encoder__section_apm_bty_pgc)。 3. 使用以下格式的 config-event-encoder.json文件。 { "file-path": "", "model": "", "labels": "", "threshold": , "runtime": "" }Copy to clipboard Note: 该应用程序仅支持 1080P 视频格式作为输入。 例如，在控制台中使用摄像头输入、YOLOX 模型和人数运行应用程序： { "file-path": "/etc/media/video.mp4", "model": "/etc/models/yolox_quantized.tflite", "labels": "/etc/labels/yolox.json", "threshold": 40, "runtime": "dsp" }Copy to clipboard 4. 运行 gst-ai-event-encoder 应用程序： gst-ai-event-encoder --config-file=/etc/configs/config-event-encoder.jsonCopy to clipboard 5. 要显示可用的帮助选项，请在 SSH shell 中运行以下命令： gst-ai-event-encoder -hCopy to clipboard 6. 要停止用例，请按 CTRL + C。 ## 预期输出 输出将作为 MP4 文件保存在 `etc/media` 文件夹中，如 `output-1.mp4`、`output-2.mp4` 等。 ## Pipeline 流 下表列出了 AI 事件编码器 pipeline 中使用的插件 | 插件 | 说明 | | --- | --- | | 摄像头源：[qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtiqmmfsrc.html) |

  • 从摄像头采集实时流。


  • 使用 tee 将流分为两路，分别用于推理和合成。


| | 文件源：filesrc |

  • 使用 filesrc 采集视频流，然后使用 qtdemux 对视频流进行解复用。


  • 使用 tee 将流分为两路，分别用于推理和合成。


| | RTSP 源：rtspsrc |

  • 使用 rtspsrc 采集 RTSP 流，然后使用 rtph264depay 进行视频提取。


  • 使用 tee 将流分为两路，分别用于推理和合成。


| | h264parse | 渲染 H.264 视频。 | | [v4l2h264dec](https://docs.qualcomm.com/doc/80-70022-50SC/topic/v4l2h264dec.html) | 解码视频 | | [qtimlvconverter](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimlvconverter.html) |

  1. 在其接收端口上接收视频流。


  2. 对流数据执行以下预处理。当模型需要浮点值作为输入时，会执行此预处理。

    1. 颜色转换


    2. 缩放（放大或缩小）


    3. 归一化





  3. 将预处理的视频流转换为其发送端口上的张量数据流。





张量数据流用于 pipeline 后期的推理。 | | 推理插件：[qtimltflite](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtimltflite.html) |

  1. 推理 runtime 在其接收端口上接收到张量数据后，会运行推理。


  2. 生成一个张量数据流，并在其发送端口上显示推理结果。


| | qtimlpostprocess | 第一个用于检测模型的 qtimlpostprocess 插件处理来自任何目标检测模型的推理结果。

  1. 将阈值应用于所选结果数。


  2. 加载 YOLOv8 模块。


  3. 生成包含可叠加在目标上的边框的视频帧。


  4. 将这些处理后的帧发送到 qtivcomposer 的接收端口。


| | qtimlpostprocess | 第二个用于检测模型的 qtimlpostprocess 插件执行以下操作：

  • 以文本格式生成输出（边界框坐标和标签）。


  • 该输出连接到 appsink 插件，用于读取、解析和记录元数据。


  • 边界框信息用于计算每帧中的人数。


| | [qtivcomposer](https://docs.qualcomm.com/doc/80-70022-50SC/topic/qtivcomposer.html) |

  1. 将接收端口获取的内容组成帧。


  2. 将包含这些组合帧的 GStreamer 缓存推送到其发送端口。


| | [Waylandsink](https://docs.qualcomm.com/doc/80-70022-50SC/topic/waylandsink.html) |

  1. Waylandsink 将其接收端口上接收的视频流提交给 Weston。


  2. Weston 在本地显示器上渲染视频流。


| | | | ## Config JSON 字段说明 可用于配置 JSON 文件和运行用例的不同参数如下： Table : 字段描述 - gst-ai-event-encoder 文件 | 字段 | 值/描述 | | :--- | :--- | | **runtime** | 请使用以下 runtime 之一：

  • cpu


  • gpu


  • dsp


| | **Input source** | 请使用以下输入源之一：

  • camera- 主 (0) 或辅助 (1)。


  • file-path- 视频文件目录的路径。


  • rtsp-ip-port - RTSP 流的地址：rtsp://<ip>:<port>/<stream>。


| ## 已知问题 使用文件源在流结束 (EOS) 后生成的 MP4 文件无法播放。 ## 相关信息 [目标检测](https://docs.qualcomm.com/doc/80-70022-50SC/topic/gst-ai-object-detection.html) **Parent Topic:** [运行 AI/ML 示例应用程序](https://docs.qualcomm.com/doc/80-70022-50SC/topic/ai-ml-sample-applications.html) Last Published: Nov 05, 2025 [Previous Topic 元数据解析](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/gst-ai-metadata-parser.md) [Next Topic AI USB 摄像头](https://docs.qualcomm.com/bundle/publicresource/80-70022-50SC/topics/ai-usb-camera.md)