# 菊花链检测与分类
Source: [https://docs.qualcomm.com/doc/80-70020-50SC/topic/daisy-chain-detection-and-classification.html](https://docs.qualcomm.com/doc/80-70020-50SC/topic/daisy-chain-detection-and-classification.html)
**gst-ai-daisychain-detection-classification** 应用程序可以使用摄像头、文件源或 RTSP 流执行级联目标检测和分类。用例涉及目标检测和对检测到的目标进行分类。
下图显示了 pipeline 工作流，该工作流从源采集视频流，对其进行预处理，使用 AI 硬件运行推理，并在屏幕上显示结果。
有关该 pipeline 中使用的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70020-50SC/topic/daisy-chain-detection-and-classification.html#daisy-chain-detection-and-classification__section_pks_twq_pbc)。
Figure : gst-ai-daisychain-detection-classification 发送 pipeline
Figure : gst-ai-daisychain-detection-classification 推理 pipeline
## 示例模型和标签文件
Table : gst-ai-daisychain-detection-classification 的示例模型和标签文件
| Runtime | 模型文件 | 标签文件 |
| :--- | :--- | :--- |
| LiteRT |
- 检测：yolox_quantized.tflite
- 分类：mobilenet_v2_quantized.tflite
|
- 检测：
coco_labels.txt
- 分类：imagenet_labels.txt
|
## 前提条件
- 确保[下载并安装 eSDK](https://docs.qualcomm.com/bundle/publicresource/topics/80-70020-51/install-sdk.html#download-and-install-esdk-)（如果尚未安装）。
- [下载模型和标签文件](https://docs.qualcomm.com/doc/80-70020-50SC/topic/download-model-and-label-files.html)。
- 要访问您的主机，请设置 SSH。有关说明，请参阅[使用 SSH 登录](https://docs.qualcomm.com/bundle/publicresource/topics/80-70020-254/how_to.html#use-ssh)。
Note: 如果已设置 SSH，则可以跳过此步骤。
- 从 Linux 主机推送模型文件。
scp root@:/etc/modelsCopy to clipboard
- 请注意，[下载的脚本](https://docs.qualcomm.com/doc/80-70020-50SC/topic/download-model-and-label-files.html)会将示例 video.mp4 视频下载到 /etc/media 目录。如果您使用的是自定义视频，请确保将视频推送到 /etc/media，并在应用程序的 config.JSON 文件中更新文件路径。
- 使用 HDMI 端口将显示器连接到设备。有关说明，请参见[设置 HDMI 显示器](https://docs.qualcomm.com/bundle/publicresource/topics/80-70020-18/samples.html)。
- 激活显示器：
export XDG_RUNTIME_DIR=/dev/socket/weston && export WAYLAND_DISPLAY=wayland-1Copy to clipboard
如果您遇到摄像头或显示器问题，请参阅[摄像头故障排查](https://docs.qualcomm.com/bundle/publicresource/topics/80-70020-17/troubleshooting.html)和[显示器故障排查](https://docs.qualcomm.com/bundle/publicresource/topics/80-70020-18/debug.html)。
## 运行应用程序
示例应用程序使用 /etc/configs/config\_daisychain\_detection\_classification.json文件读取输入参数。
要创建自己的 config JSON 文件，请使用 [config_daisychain_detection_classification.json](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-sample-apps/gst-ai-daisychain-detection-classification/config_daisychain_detection_classification.json?ref_type=heads) 作为参考。
1. 使用以下格式的 config\_daisychain\_detection\_classification.json文件：
{
"input-file": "",
"detection-model": "",
"detection-labels": "",
"classification-model": "",
"classification-labels": "",
"detection-constants": "",
"classification-constants": ""
}Copy to clipboard
Note:
- 根据模型、输入流和其他属性更新 config JSON 文件。关于更多详细信息，请参阅 [Config JSON 字段说明](https://docs.qualcomm.com/doc/80-70020-50SC/topic/daisy-chain-detection-and-classification.html#daisy-chain-detection-and-classification__section_mxw_t2r_32c)。
- 对于 QCS6490，如果配置文件中*不*存在 `file-path` 和 `rtsp-ip-port`，则选择摄像头输入。
例如，使用自定义视频输入文件、模型和标签路径以及常量运行应用程序：
{
"input-file": "/etc/media/video.mp4",
"detection-model": "/etc/models/yolox_quantized.tflite",
"detection-labels": "/etc/labels/coco_labels.txt",
"classification-model": "/etc/models/mobilenet_v2_quantized.tflite",
"classification-labels": "/etc/labels/imagenet_labels.txt",
"detection-constants": "YOLOx,q-offsets=<38.0, 0.0, 0.0>,q-scales=<3.6124823093414307, 0.003626860911026597, 1.0>;",
"classification-constants": "Inceptionv3,q-offsets=<38.0>,q-scales=<0.17039915919303894>;"
}Copy to clipboard
2. 运行 gst-ai-daisychain-detection-classification 应用程序：
gst-ai-daisychain-detection-classification --config-file=/etc/configs/config_daisychain_detection_classification.jsonCopy to clipboard
要显示可用的帮助选项，请在 SSH shell 中运行以下命令：
gst-ai-daisychain-detection-classification -hCopy to clipboard
要停止用例，请按 CTRL + C。
## 预期输出
裁剪后的视频帧将叠加在帧上并显示在本地设备上。
Note: 在 [Imagenet](https://github.com/quic/ai-hub-models/blob/main/qai_hub_models/labels/imagenet_labels.txt) 数据集上训练的分类模型不包含 *person* 类。
Figure : gst-ai-daisychain-detection-classification 应用程序的预期输出
## Pipeline 流
下表列出了菊花链检测和分类 pipeline 中使用的插件：| 插件 | 说明 |
| --- | --- |
| 摄像头源：[qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtiqmmfsrc.html) |
- 从摄像头采集实时流。
- 使用 tee 拆分流进行推理。
|
| 文件源：filesrc |
- 使用 filesrc 采集视频流，然后使用 qtdemux 对视频流进行解复用。
- 使用 tee 拆分流进行推理。
|
| RTSP 源：rtspsrc |
- 使用 rtspsrc 采集 RTSP 流，然后使用 rtph264depay 进行视频提取。
- 使用 tee 拆分流进行推理。
|
| h264parse | 渲染 H.264 视频。 |
| [v4l2h264dec](https://docs.qualcomm.com/doc/80-70020-50SC/topic/v4l2h264dec.html) | 解码视频 |
| [qtimetamux](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimetamux.html) | 多路复用流。 |
| h264parse | 渲染视频。 |
| [v4l2h264dec](https://docs.qualcomm.com/doc/80-70020-50SC/topic/v4l2h264dec.html) | 解码 H.264 视频流。
该流被转发到 Wayland 合成器，并在本地显示设备上进行渲染。
|
| [qtivsplit](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtivsplit.html) | 根据检测到的边界框将整个帧裁剪为较小的帧（最多 4 个）。 |
| [qtimlvconverter](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlvconverter.html) | AI 处理流将其用于预处理：
- 在其接收端口上接收视频流。
- 对流数据执行以下预处理。当模型需要浮点值作为输入时，就会完成此预处理。
- 颜色转换
- 缩放（放大或缩小）
- 归一化
- 将预处理的视频流转换为其发送端口上的张量数据流。
张量数据流用于 pipeline 后期的推理。 |
| [qtimltflite](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimltflite.html) |
- 推理 runtime 在其接收端口上接收到张量数据后，会运行推理。
- 生成一个张量数据流，并在其发送端口上显示推理结果。
|
| [qtimlvdetection](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlvdetection.html) | 处理来自任何分类模型的推理结果。
- 将阈值应用于所选结果数。
- 加载 YOLOv5 模块。
- 将结果生成为带分类标签的视频帧。
- 生成仅包含可裁剪边界框的视频帧。
|
| [qtimlvclassification](https://docs.qualcomm.com/doc/80-70020-50SC/topic/qtimlvclassification.html) |
- 将阈值应用于裁剪帧上所选的结果数。
- 加载 MobileNet 模块。
- 将结果生成为带有分类标签的视频帧。
- 将它们发送到 qtivcomposer的接收端。
|
| [Waylandsink](https://docs.qualcomm.com/doc/80-70020-50SC/topic/waylandsink.html) | 将在其设备接收端口上接收到的视频流提交到 Wayland 合成器，以在本地显示设备上渲染视频流。 |
## Config JSON 字段说明
Table : 字段说明 – config_daisychain_detection_classification.json 文件
| 字段 | 值/描述 |
| :--- | :--- |
| **Input source** |
input-file：视频文件的目录路径。
rtsp-ip-port：RTSP 流的地址，格式为 rtsp://<ip>:<port>/<stream>。
|
| **Models and labels** |
detection-model：检测模型的路径。
detection-labels：检测标签的路径。
classification-model：分类模型的路径。
classification-labels：分类标签的路径。
detection-constants：LiteRT 检测模型的常量。
classification-constants：LiteRT 分类模型的常量。
|
## 相关信息
- [图像分类](https://docs.qualcomm.com/doc/80-70020-50SC/topic/gst-ai-classification.html)
- [目标检测](https://docs.qualcomm.com/doc/80-70020-50SC/topic/gst-ai-object-detection.html)
**Parent Topic:** [运行 AI/ML 示例应用程序](https://docs.qualcomm.com/doc/80-70020-50SC/topic/ai-ml-sample-applications.html)
Last Published: Jul 23, 2025
[Previous Topic
多输入/输出目标检测](https://docs.qualcomm.com/bundle/publicresource/80-70020-50SC/topics/gst-ai-multi-input-output-object-detection.md) [Next Topic
菊花链检测和姿态估计](https://docs.qualcomm.com/bundle/publicresource/80-70020-50SC/topics/daisy-chain-detection-and-pose-detection.md)