gst_ai_classification

# 使用默认模型对对象进行分类 *gst-ai-classification* 示例应用程序演示了硬件对视频流执行分类的功能。 Pipeline 接收来自摄像头、文件源或实时流协议（RTSP）的视频流，负责执行预处理，在 AI 硬件上进行推理，并在屏幕上显示结果。 *gst-ai-classification* 应用程序是 Qualcomm Intelligent Multimedia (QIM) SDK 的一部分，可在刷写设备后直接运行。用户需要将模型和标签文件推送到设备才能运行该应用程序。 ## 下载模型和标签文件 Note 以下部分对通过 AI Hub 下载的模型使用占位符模型名称。将命令中的模型名称更新为通过 AI Hub 下载的相应模型名称。要在设备上直接下载模型和标签文件，请按照以下步骤操作。 1. [启用 Wi-Fi](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-254/how_to.html#connect-to-the-network) 和 [SSH](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-254/how_to.html#use-ssh)。 > > > 设备需要连接互联网才能下载运行示例应用所需的 artifact。如果您已启用 SSH 并通过 Wi-Fi 连接到互联网，请跳过此步骤。 2. 使用 SSH 登录目标设备： ssh root@ Copy to clipboard 3. 下载用于将模型和标签文件下载到目标设备上的 `/etc/models` 和 `/etc/labels` 目录的自动脚本： curl -L -O https://raw.githubusercontent.com/quic/sample-apps-for-qualcomm-linux/refs/heads/main/download_artifacts.sh Copy to clipboard Note 在目标设备上运行此脚本。确保目标设备具有有效的互联网连接。 4. 设置脚本权限： chmod +x download_artifacts.sh Copy to clipboard 5. 使用所需参数运行脚本以将模型和标签文件下载至设备： ./download_artifacts.sh -v GA1.6-rel -c QCS6490 Copy to clipboard 将 `` 替换为 `QCS6490`、`QCS9075` 或 `QCS8275`。 6. YOLOv8 模型默认不可用（可选）。使用提供的脚本下载它们或使用 AI Hub API 导出它们。如果您使用的是 `gst-ai-multistream-batch-inference` 应用程序，请生成批处理模型。 Tab 使用脚本下载它们 Tab 使用 AI Hub API 导出它们 Tab 生成批量模型 1. 创建 [Qualcomm AI Hub 帐户](https://app.aihub.qualcomm.com/account/)。 2. 选择账户名 > 进入右上角的 **Settings** > 选择 API 密钥。 3. 在 Linux 主机上运行以下命令： curl -L -O https://raw.githubusercontent.com/quic/sample-apps-for-qualcomm-linux/refs/heads/main/scripts/export_model.sh Copy to clipboard chmod +x export_model.sh Copy to clipboard 将 `` 替换为所选密钥： ./export_model.sh --api-key= Copy to clipboard 执行脚本后，模型将下载到构建目录。 4. 将模型复制到 `/etc/models/` 目录中的设备。 scp /build/yolov8_det_w8a8/yolov8_det_w8a8.tflite root@:/etc/models/ Copy to clipboard - [YOLOv8-Detection-Quantized](https://github.com/quic/ai-hub-models/tree/main/qai_hub_models/models/yolov8_det) 当前版本 (GA 1.6) 使用 Qualcomm AI Runtime SDK v2.38。例如，要导出 Yolov8 QNN 模型，请运行以下命令： > > > python -m qai_hub_models.models.yolov8_det.export --quantize w8a8 --target-runtime=qnn_context_binary --chipset="qualcomm-qcs6490-proxy" --compile-options="--qairt_version 2.38" --profile-options "--qairt_version 2.38" > Copy to clipboard 例如，要导出 Yolov8 Litert 模型，请运行以下命令： > > > python -m qai_hub_models.models.yolov8_det.export --quantize w8a8 --target-runtime=tflite --chipset="qualcomm-qcs6490-proxy" > Copy to clipboard 要更改模型的批量大小，请更新以下命令中的 ``： python -m qai_hub_models.models..export --quantize w8a8 --batch-size --device "QCS6490 (Proxy)" Copy to clipboard 7. 如果使用脚本下载后模型不可用，请从 [IoT-Qualcomm AI Hub](https://aihub.qualcomm.com/iot/models/) 下载该模型，然后在主机上运行以下命令将其复制到目标设备： scp root@:/etc/models Copy to clipboard 例如： scp inception_v3_quantized.tflite root@:/etc/models Copy to clipboard Note 如果要从 UART shell 运行示例应用程序，请重新挂载文件系统在目标设备上使用以下命令获得读/写权限： mount -o remount,rw /usr Copy to clipboard ## 运行示例应用程序 Important 本文档的其余部分假定默认文件位置遵循以下约定： - `/etc/models/` 适用于所有模型文件 - `/etc/labels/` 适用于所有标签文件 - `/etc/media/` 适用于所有视频文件 - `/etc/configs/` 对于所有配置文件请运行以下命令，以便运行参考应用程序。 1. `download_artifacts.sh` 脚本会将示例 `video.mp4` 文件下载到 `/etc/media` 目录。如果您希望使用自己的视频文件，请使用以下命令将视频文件推送到 `/etc/media` 目录，并更新配置文件中的路径。 scp