# 元数据解析
Source: [https://docs.qualcomm.com/doc/80-70020-50SC/topic/gst-ai-metadata-parser.html](https://docs.qualcomm.com/doc/80-70020-50SC/topic/gst-ai-metadata-parser.html)
**gst-ai-metadata-parser-example** 应用程序从摄像头、文件或 RTSP 源接收实时视频流输入，并将该流传递给 YOLO 模型来执行目标检测和预览。叠加的 AI 模型输出（包括标签和边界框）显示在 HDMI 显示器上。提取的元数据将记录在控制台上，并用于对帧中的人进行计数。
下图展示了元数据解析的 pipeline。有关 pipeline 流中使用的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70020-50SC/topic/gst-ai-metadata-parser.html#gst-ai-metadata-parser__section_dvc_mcp_m2c)。
Figure : gst-ai-metadata-parser-example pipeline
## 示例模型和标签文件
Table : gst-ai-object-detection 的示例模型和标签文件
| Runtime | 模型文件 | 标签文件 |
| :--- | :--- | :--- |
| LiteRT | *yolox\_quantized.tflite* | *yolox.labels* |
## 前提条件
- 确保[下载并安装 eSDK](https://docs.qualcomm.com/bundle/publicresource/topics/80-70020-51/install-sdk.html#download-and-install-esdk-)（如果尚未安装）。
- [下载模型和标签文件](https://docs.qualcomm.com/doc/80-70020-50SC/topic/download-model-and-label-files.html)。
- 要访问您的主机，请设置 SSH。有关说明，请参阅[使用 SSH 登录](https://docs.qualcomm.com/bundle/publicresource/topics/80-70020-254/how_to.html#use-ssh)。
Note: 如果已设置 SSH，则可以跳过此步骤。
- 从 Linux 主机推送模型文件。
scp root@:/etc/modelsCopy to clipboard
- 请注意，[下载的脚本](https://docs.qualcomm.com/doc/80-70020-50SC/topic/download-model-and-label-files.html)会将示例 video.mp4 视频下载到 /etc/media 目录。如果您使用的是自定义视频，请确保将视频推送到 /etc/media，并在应用程序的 config.JSON 文件中更新文件路径。
- 使用 HDMI 端口将显示器连接到设备。有关说明，请参见[设置 HDMI 显示器](https://docs.qualcomm.com/bundle/publicresource/topics/80-70020-18/samples.html)。
- 激活显示器：
export XDG_RUNTIME_DIR=/dev/socket/weston && export WAYLAND_DISPLAY=wayland-1Copy to clipboard
如果您遇到摄像头或显示器问题，请参阅[摄像头故障排查](https://docs.qualcomm.com/bundle/publicresource/topics/80-70020-17/troubleshooting.html)和[显示器故障排查](https://docs.qualcomm.com/bundle/publicresource/topics/80-70020-18/debug.html)。
Note: 要查看边界框信息和人数，请在运行应用程序前运行以下命令：
export GST_DEBUG=4Copy to clipboard
## 运行应用程序
使用以下命令来运行应用程序
gst-ai-metadata-parser-example --config-file=/etc/configs/config-metadata-parser.jsonCopy to clipboard
示例应用程序使用 /etc/configs/config-metadata-parser.json文件读取输入参数。
要创建自己的 config JSON 文件，请使用 [config-metadata-parser.json](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-sample-apps/gst-ai-metadata-parser-example/config-metadata-parser.json?ref_type=heads) 作为参考。
1. 使用以下格式的 config-metadata-parser.json文件。
{
"file-path": "",
"model": "",
"labels": "",
"constants" : "",
"threshold": ,
"runtime": ""
}Copy to clipboard
Note: 根据模型、输入流和其他属性更新 config JSON 文件。关于更多详细信息，请参阅 [Config JSON 字段说明](https://docs.qualcomm.com/doc/80-70020-50SC/topic/gst-ai-metadata-parser.html#gst-ai-metadata-parser__section_qjx_hqq_32c)。
例如，在控制台中运行使用摄像头输入、YOLOX 模型和人员计数的应用程序：
{
"file-path": "/etc/media/video.mp4",
"model": "/etc/models/yolox_quantized.tflite",
"labels": "/etc/labels/yolox.labels",
"threshold": 40,
"runtime": "dsp"
}Copy to clipboard
2. 运行 gst-ai-metadata-parser-example 应用程序：
gst-ai-metadata-parser-example --config-file=/etc/configs/config-metadata-parser.jsonCopy to clipboard
要显示可用的帮助选项，请在 SSH shell 中运行以下命令：
gst-ai-metadata-parser-example -hCopy to clipboard
要停止用例，请按 CTRL + C。
## 预期输出
Figure : gst-ai-metadata-parser-example 应用程序的预期输出 - 目标检测
## Pipeline 流
下表列出了元数据解析 pipeline 中使用的插件：
| 插件 | 说明 |
| --- | --- |
| 摄像头源：[qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtiqmmfsrc.html) | |
| 文件源：filesrc | |
| RTSP 源：rtspsrc | |
| h264parse | 渲染 H.264 视频。 |
| [v4l2h264dec](https://docs.qualcomm.com/doc/80-70020-50SC/topic/v4l2h264dec.html) | 解码视频 |
| [qtimlvconverter](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlvconverter.html) |
- 在其接收端口上接收视频流。
- 对流数据执行以下预处理。当模型需要浮点值作为输入时，会执行此预处理。
- 颜色转换
- 缩放（放大或缩小）
- 归一化
- 将预处理的视频流转换为其发送端口上的张量数据流。
张量数据流用于 pipeline 后期的推理。 |
| 推理插件：[qtimltflite](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimltflite.html) |
- 推理 runtime 在其接收端口上接收到张量数据后，会运行推理。
- 生成一个张量数据流，并在其发送端口上显示推理结果。
|
| [qtimlvdetection](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlvdetection.html) | 第一个 qtimlvdetection 插件处理来自任意目标检测模型的推理结果。
- 将阈值应用于所选结果数。
- 加载 YOLOv8 模块。
- 生成包含可叠加在目标上的边框的视频帧。
- 将这些处理后的帧发送到 qtivcomposer 的接收端口。
|
| [qtimlvdetection](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlvdetection.html) | 第二个 qtimlvdetection 插件执行以下操作：
|
| [qtivcomposer](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtivcomposer.html) |
- 将接收端口获取的内容组成帧。
- 将包含这些组合帧的 GStreamer 缓存推送到其发送端口。
|
| [Waylandsink](https://docs.qualcomm.com/doc/80-70020-50SC/topic/waylandsink.html) |
- Waylandsink 将其接收端口上接收的视频流提交给 Weston。
- Weston 在本地显示器上渲染视频流。
|
| | |
## Config JSON 字段说明
Table : 字段说明 – gst-ai-metadata-parser-example 文件
| 字段 | 值/描述 |
| :--- | :--- |
| **runtime** | 请使用以下 runtime 之一： |
| **Input source** | 请使用以下输入源之一： |
| **constants** | 添加所选模块使用的常量、偏移量和系数。
`"module,q-offsets=,q-scales=;"` |
## 相关信息
[目标检测](https://docs.qualcomm.com/doc/80-70020-50SC/topic/gst-ai-object-detection.html)
**Parent Topic:** [运行 AI/ML 示例应用程序](https://docs.qualcomm.com/doc/80-70020-50SC/topic/ai-ml-sample-applications.html)
Last Published: Jul 23, 2025
[Previous Topic
音频分类](https://docs.qualcomm.com/bundle/publicresource/80-70020-50SC/topics/audio-classification.md) [Next Topic
AI USB 摄像头](https://docs.qualcomm.com/bundle/publicresource/80-70020-50SC/topics/ai-usb-camera.md)