# 视频单目深度估计
Source: [https://docs.qualcomm.com/doc/80-70018-50SC/topic/mono-depth-from-video.html](https://docs.qualcomm.com/doc/80-70018-50SC/topic/mono-depth-from-video.html)
**gst-ai-monodepth** 应用程序可以对实时摄像头流、文件或 RTSP 流推断源的深度。
该图显示了一个 pipeline，该 pipeline 从接收端采集流、对视频数据进行预处理、并使用 AI 硬件运行推理。有关 pipeline 中使用的插件的信息，请参见 [Pipeline 流](https://docs.qualcomm.com/doc/80-70018-50SC/topic/mono-depth-from-video.html#mono-depth-from-video__section_w3l_s1t_pbc)。
Figure : gst-ai-monodepth pipeline
## 示例模型和标签文件
| Runtime | 模型文件 | 标签文件 |
| --- | --- | --- |
| Qualcomm Neural Processing SDK | midasv2.dlc | monodepth.labels |
| LiteRT | midas_quantized.tflite | monodepth.labels |
| Qualcomm AI Engine Direct | midas_quantized.bin | monodepth.labels |
| | | |
| | | |
## 前提条件
- 如果尚未完成，请参见[下载并安装 eSDK](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-51/install-sdk.html#download-and-install-esdk-)。
- [下载模型和标签文件](https://docs.qualcomm.com/doc/80-70018-50SC/topic/download-model-and-label-files.html).
该应用程序支持 Qualcomm Neural Processing SDK、Qualcomm AI Engine Direct 和 LiteRT 模型。
- 要访问您的主机设备，请启用 SSH。有关说明，请参阅[使用 SSH 登录](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-254/how_to.html#use-ssh)。
Note: 如果 SSH 已启用，则可以跳过此步骤。
- 使用 HDMI 端口将显示器连接到设备。有关说明，请参见[设置 HDMI 显示器](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-18/samples.html)。
- 启用显示器：
export XDG_RUNTIME_DIR=/dev/socket/weston && export WAYLAND_DISPLAY=wayland-1Copy to clipboard
如果启用摄像头或显示器时遇到问题，请参阅[摄像头故障排除](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-17/troubleshooting.html)和[显示器故障排除](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-18/debug.html)。
## 运行应用程序
示例应用程序使用 /etc/configs/config\_monodepth.json 文件读取输入参数。
要创建自己的 config JSON 文件，请使用 [config_monodepth.json](https://git.codelinaro.org/clo/le/platform/vendor/qcom-opensource/gst-plugins-qti-oss/-/blob/imsdk.lnx.2.0.0.r2-rel/gst-sample-apps/gst-ai-monodepth/config_monodepth.json?ref_type=heads) 作为参考。
1. 使用以下格式的 config\_monodepth.json
文件：
{
"file-path": "",
"ml-framework": "",
"model": "",
"labels": "",
"constants": "",
"runtime": ""
}Copy to clipboard
Note: 根据模型、输入流和其他属性更新 config JSON
文件。关于更多详细信息，请参阅 [Config JSON 字段说明](https://docs.qualcomm.com/doc/80-70018-50SC/topic/mono-depth-from-video.html#mono-depth-from-video__section_xhk_l4r_32c)。
例如，使用 LiteRT 模型和 DSP runtime
间运行应用程序，其输入来自视频文件以及自定义模型和标签路径：
{
"file-path": "/etc/media/video.mp4",
"ml-framework": "tflite",
"model": "/etc/models/midas_quantized.tflite",
"labels": "/etc/labels/monodepth.labels",
"constants": "Midas,q-offsets=<0.0>,q-scales=<4.716535568237305>;",
"runtime": "dsp"
}Copy to clipboard
2. 运行 gst-ai-monodepth 应用程序：
gst-ai-monodepth --config-file=/etc/configs/config_monodepth.jsonCopy to clipboard
要显示可用的帮助选项，请在 SSH shell 中运行以下命令：
gst-ai-monodepth -hCopy to clipboard
要停止用例，请按 CTRL + C。
## 预期输出
叠加的模型输出流与实时流并排显示。
Figure : gst-ai-monodepth 应用程序的预期输出
## Pipeline 流
该表列出了单目深度 pipeline 中使用的插件：
| 插件 | 说明 |
| --- | --- |
| 摄像头源：[qtiqmmfsrc](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtiqmmfsrc.html) |
- 从摄像头采集实时流。
- 使用 tee 拆分流进行推理。
|
| 文件源：filesrc |
- 使用 filesrc 采集视频流，然后使用 qtdemux 对视频流进行解复用。
- 使用 tee 拆分流进行推理。
|
| RTSP 源：rtspsrc |
- 使用 rtspsrc 采集 RTSP 流，然后使用 rtph264depay 进行视频提取。
- 使用 tee 拆分流进行推理。
|
| h264parse | 渲染 H.264 视频。 |
| [v4l2h264dec](https://docs.qualcomm.com/doc/80-70018-50SC/topic/v4l2h264dec.html) | 解码视频 |
| [qtimlvconverter](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimlvconverter.html) | AI 处理流将其用于预处理：
- 在其接收端口上接收视频流。
- 对流数据执行以下预处理。当模型需要浮点值作为输入时，会执行此预处理。
- 颜色转换
- 缩放（放大或缩小）
- 归一化
- 将预处理的视频流转换为其发送端口上的张量数据流。
张量数据流用于 pipeline 后期的推理。 |
| 推理插件：[qtimlsnpe](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimlsnpe.html)、[qtimltflite](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimltflite.html) 和 [qtimlqnn](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimlqnn.html) | 使用 Midasv2 模型实现单目深度估计。
- 推理 runtime 在其接收端口上接收张量数据。
- Runtime 执行推理。
- 生成一个张量数据流，并在其发送端口上显示推理结果。
用于处理推理的后处理插件来自 Midasv2 模型。 |
| [qtimlvsegmentation](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtimlvsegmentation.html) | 将接收端口上收到的推理张量转换为视频格式，由多媒体插件进行后续处理。 |
| [qtivtransform](https://docs.qualcomm.com/doc/80-70018-50SC/topic/qtivtransform.html) | 在其发送端口转换缓存。这些缓存用于在 Waylandsink 上执行合成。 |
| [Waylandsink](https://docs.qualcomm.com/doc/80-70018-50SC/topic/waylandsink.html) |
- Waylandsink 将其接收端口上接收的视频流提交给 Weston。
- Weston 在本地显示器上渲染视频流。
|
## Config JSON 字段说明
Table : 字段说明 – config_monodepth.json 文件
| 字段 | 值/描述 |
| :--- | :--- |
| **ml-framework** | 启用并使用以下模型之一：
snpe：Qualcomm Neural Processing SDK
tflite：LiteRT
qnn：Qualcomm AI Engine direct
|
| **runtime** | 启用并使用以下 runtime 之一： |
| **Input source** | 启用并使用以下输入源之一：
camera：主 (0) 或辅助 (1)。
file-path：视频文件的目录路径。
rtsp-ip-port：RTSP 流的地址：rtsp://<ip>:<port>/<stream>
|
**Parent Topic:** [运行 AI/ML 示例应用程序](https://docs.qualcomm.com/doc/80-70018-50SC/topic/ai-ml-sample-applications.html)
**Related Resources**
- [图像分割](https://docs.qualcomm.com/doc/80-70018-50SC/topic/gst-ai-segmentation.html)
Last Published: Nov 12, 2025
[Previous Topic
菊花链检测和姿态估计](https://docs.qualcomm.com/bundle/publicresource/80-70018-50SC/topics/daisy-chain-detection-and-pose-detection.md) [Next Topic
视频超分辨率](https://docs.qualcomm.com/bundle/publicresource/80-70018-50SC/topics/video-super-resolution.md)