# Depth-VSLAM
Source: [https://docs.qualcomm.com/doc/80-70015-265Y/topic/depth-vslam_5_3_4.html](https://docs.qualcomm.com/doc/80-70015-265Y/topic/depth-vslam_5_3_4.html)
vSLAM 可以基于单目摄像头或深度摄像头。depth-vslam 示例可以使用图像序列、IMU 序列和轮式里程计序列作为输入，连续生成里程计数据。里程计数据来自您的机器人。
图中显示了 depth-vslam 示例的 pipeline。Depth-vslam 示例融合了来自 RealSense 深度摄像头的深度信息、来自 ICM42688 的 IMU 数据以及来自机器人的里程计数据，然后输出姿态和里程计数据。Depth-vslam 示例支持有目标和无目标模式。
Figure : Depth-VSLAM pipeline
有关 pipeline 流程中使用的 ROS 节点和主题的信息，参见 [Depth-VSLAM 的 pipeline 流程](https://docs.qualcomm.com/doc/80-70015-265Y/topic/depth-vslam_5_3_4.html#ID-concept-d32488e7122__section_smc_jqz_vbc)。
## 用例
**前提条件：**
- QIRP SDK 和依赖项已安装，参见[编译软件](https://docs.qualcomm.com/doc/80-70015-265Y/topic/build-the-software_4_1.html)和[刷写和安装](https://docs.qualcomm.com/doc/80-70015-265Y/topic/flash-and-install_4_3.html)。
- `SSH` 在 "Permissive" 模式下按照 [使用 SSH](https://docs.qualcomm.com/bundle/publicresource/topics/80-70015-254/how_to.html#use-ssh) 中介绍的步骤启用。
- RealSense D455 摄像头已部署。
**用例 1：运行开箱即用的 depth-VLSAM**
**步骤：**
该示例遵循以下节点序列。
realsense2-camera in depth mode
qti-robot-amr-ctrl
depth-vslam
qti-robot-keyboardCopy to clipboard
1. 连接 RealSense D455 摄像头并启动机器人。
2. 启动五个终端，并在每个终端运行以下命令，从而在设备上搭建 QIRP SDK 和 ROS2 环境。
`ROS_DOMAIN_ID` 的取值范围：[0, 232]
ssh root@[ip-addr]
(ssh) export HOME=/opt
(ssh) source /opt/qcom/qirp-sdk/qirp-setup.sh
(ssh) source /usr/bin/ros_setup.bash
(ssh) export ROS_DOMAIN_ID=xx
Copy to clipboard
注释： 在接下来的步骤 3 到 7 中，每一步都在此步骤中部署的单独终端窗口中运行。
3. 在终端 1，以深度模式启动 `realsense2_camera`。
(ssh) ros2 launch realsense2_camera rs_launch.py enable_sync:=true align_depth.enable:=true rgb_camera.profile:=848x480x30 depth_module.profile:=848x480x30
Copy to clipboard
4. 在终端 2，启动 `qti_robot_amr_ctrl`。
(ssh) ros2 launch qti_robot_amr_ctrl qti_robot_amr_ctrl.launch.py
Copy to clipboard
注释： 将此步骤替换为您的机器人启动命令。
5. 在终端 3，运行 `depth-vslam`。
(ssh) export FASTRTPS_DEFAULT_PROFILES_FILE=/opt/qcom/qirp-sdk/data/misc/vwslam/Configuration/vslam-node_profile.xml
(ssh) cd /opt/qcom/qirp-sdk/usr/lib/depth-vslam/
(ssh) chmod 777 depth-vslam
(ssh) ./depth-vslam
Copy to clipboard
终端中显示以下日志。
6. 在终端 4，运行 `qti_robot_keyboard`。
(ssh) ros2 run qti_robot_keyboard qti_keyboard
Copy to clipboard
注释： 将此步骤替换为您的键盘命令。
7. 在终端 5，您可以通过执行此命令观察输出结果。
(ssh) ros2 topic echo /robot_odom
(ssh) ros2 topic echo /vslam_odom_raw
Copy to clipboard
8. 要在 Ubuntu PC 上的 Rviz2 中显示结果，执行以下配置。
1. 按照[安装 Rviz2](https://docs.qualcomm.com/doc/80-70015-265Y/topic/install-rviz2_5_1_3.html) 的说明安装 Rviz2。
2. 选择 `/odom` 帧。
3. 按显示类型添加 `TF`、 `Grid`。
4. 按主题添加 `odom`、 `robot_odom` 和 `vslam/labeled_img`。
Table : Depth-vslam 的默认配置和输出文件
| 文件 | 默认路径 | 说明 |
| --- | --- | --- |
| 配置文件及路径 | /opt/qcom/qirf-sdk/data/misc/vwslam/Configuration/rgbdWSlam.cfg
/opt/qcom/qirf-sdk/data/misc/vwslam/vslam.cfg Copy to clipboard |
rgbdWSlam.cfg 文件配置了 depth-vslam 算法的参数，例如初始化模式。
vslam.cfg 文件配置了 depth-vslam 的硬件参数，例如摄像头参数。
|
| 输出文件 | /opt/qcom/qirf-sdk/data/vwslam/fusion_output.csv Copy to clipboard | .csv 文件包含基础链接的姿态。 |
**用例 2：编译并运行 depth-VLSAM**
**步骤：**
1. 在主机上编译由 QIRP SDK 提供的 `depth-vslam`。
cd
source setup.sh
cd sample-code/qirp_nodes/navigation_nodes/vslam/depth-vslam/
export AMENT_PREFIX_PATH="${OECORE_TARGET_SYSROOT}/usr;${OECORE_NATIVE_SYSROOT}/usr"
export PYTHONPATH=${PYTHONPATH}:${OECORE_TARGET_SYSROOT}/usr/lib/python3.10/site-packages
colcon build --continue-on-error --cmake-args \
-DCMAKE_TOOLCHAIN_FILE=${OE_CMAKE_TOOLCHAIN_FILE} \
-DPYTHON_EXECUTABLE=${OECORE_NATIVE_SYSROOT}/usr/bin/python3 \
-DPython3_NumPy_INCLUDE_DIR=${OECORE_NATIVE_SYSROOT}/usr/lib/python3.10/site-packages/numpy/core/include \
-DSYSROOT_LIBDIR=${OECORE_TARGET_SYSROOT}/usr/lib \
-DSYSROOT_INCDIR=${OECORE_TARGET_SYSROOT}/usr/include \
-DCMAKE_MAKE_PROGRAM=/usr/bin/make \
-DBUILD_TESTING=OFF
Copy to clipboard
2. 将 `depth-vslam` 推送至设备。
注释： 确保设备上已安装 QIRP SDK。
cd sample-code/qirp_nodes/navigation_nodes/vslam/depth-vslam/install/depth-vslam
tar czvf depth_vslam.tar.gz lib share
scp depth_vslam.tar.gz root@[ip-addr]:/opt/qcom/qirp-sdk/
ssh root@[ip-addr]
(ssh) tar -zxf /opt/qcom/qirp-sdk/depth_vslam.tar.gz -C /opt/qcom/qirp-sdk/usr/Copy to clipboard
3. 在设备上运行 `depth-vslam`，参考[用例 1：运行开箱即用的
depth-vlsam](https://docs.qualcomm.com/doc/80-70015-265Y/topic/depth-vslam_5_3_4.html#ID-concept-d32488e7122__ID-Hx-d51669e1)。
## Depth-VSLAM 的 pipeline 流程
Table : Depth-VSLAM pipeline 中使用的 ROS 节点
| ROS 节点 | 说明 |
| --- | --- |
| qti-robot-amr-ctrlCopy to clipboard | 发布 `/cmd_vel` 和 `/odom` ROS 主题。 |
| realsense2-cameraCopy to clipboard | 发布 `/camera_info` 和 `/image_raw` ROS 主题。 |
Table : Depth-VSLAM pipeline 中使用的 ROS 专题
| ROS 主题 | 类型 | 说明 |
| --- | --- | --- |
| robot_odomCopy to clipboard | Copy to clipboard | 由 `depth-vslam` 节点发布。 |
| vslam_odom_rawCopy to clipboard | Copy to clipboard | 由 `depth-vslam` 节点发布。 |
| vslam/labeled_imgCopy to clipboard | Copy to clipboard | 由 `depth-vslam` 节点发布。 |
| sensor_imuCopy to clipboard | Copy to clipboard | 由 `depth-vslam` 节点发布。 |
| /camera/color/image_rawCopy to clipboard | Copy to clipboard | 由 `realsense2-camera` 节点发布，并由 `depth-vslam` 节点订阅。 |
| /camera/aligned_depth_to_color/image_rawCopy to clipboard | Copy to clipboard | 由 `realsense2-camera` 节点发布，并由 `depth-vslam` 节点订阅。 |
| /camera/color/camera_infoCopy to clipboard | Copy to clipboard | 由 `realsense2-camera` 节点发布，并由 `depth-vslam` 节点订阅。 |
| odomCopy to clipboard | Copy to clipboard | 由 `mono-vslam` 节点发布。 |
**上一级主题：** [专有示例](https://docs.qualcomm.com/doc/80-70015-265Y/topic/proprietary-samples_5_3.html)
Last Published: Dec 05, 2024
[Previous Topic
Mono-VSLAM](https://docs.qualcomm.com/bundle/publicresource/80-70015-265Y/topics/mono-vslam_5_3_3.md) [Next Topic
Auto-explore](https://docs.qualcomm.com/bundle/publicresource/80-70015-265Y/topics/auto-explore_5_3_5.md)