# 调试 Linux 用户空间问题
Source: [https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html](https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html)
下图展示了可用于调试与 Linux 用户空间应用相关问题的开源工具、转储和日志。
Figure : 用于调试 Linux 用户空间中的问题的资源
使用 packagegroup-core-tools-debug.bbappend BitBake 文件启用支持的开源调试工具。BitBake 文件位于：layers/meta-qcom-hwe/recipes-devtools/packagegroups/。此处介绍了启用和使用 ltrace 等开源工具的步骤。
## 使用 ltrace 调试
Source: [https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html](https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html)
默认情况下，会在版本中启用 ltrace。
**前提条件**
设置 SSH，按照[此处](https://docs.qualcomm.com/bundle/publicresource/topics/80-70015-254/how_to.html#use-ssh)提到的步骤操作。
**步骤**
要使用 ltrace 进行调试，使用 SSH 运行以下命令：
1. 运行进程状态命令：
ps -efCopy to clipboard
会
显示系统中所有正在运行的进程的
列表。
339 rpc 0:00 /usr/sbin/rpcbind -w -f
345 root 0:00 /lib/systemd/systemd-journald
373 root 0:00 [kworker/3:6-mm_]Copy to clipboard
2. 识别希望调试的进程的进程 ID (PID)。
3. 运行 `ltrace` 命令：
ltrace -p 345Copy to clipboard
在此示例中，`345` 为 PID。
示例输出：
journal_file_close(0x25e30170, -1, 0, 0
sockaddr_un_unlink(0x25e30170, -1, 0, 0
sd_journal_close(0x25e31c00, 1, 3, 0x409e70) = 0
sd_journal_close(0x25e31d50, 1, 0, 1) = 0
<... sockaddr_un_unlink resumed> ) = 1
<... journal_file_close resumed> ) = 1
journal_file_close(0x25e30170, -1, 0, 0
sockaddr_un_unlink(0x25e30170, -1, 0, 0
sd_event_now(15, 0x41ed20, 10, 64) = 10
openat64(2, 0x41ed20, 10, 64
clock_gettime(2, 0x41ed20, 10, 64) = 6Copy to clipboard
有关详细信息，可访问 [https://man7.org/linux/man-pages/man1/ltrace.1.html](https://man7.org/linux/man-pages/man1/ltrace.1.html)。
## 使用 Valgrind 调试
Source: [https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html](https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html)
Valgrind 工具可以检测 C 和 C++ 程序中常见的内存相关错误。这些错误会导致崩溃和不可预测的行为，例如内存泄漏和内存损坏。默认情况下，会在版本中启用 Valgrind 工具。
**前提条件**
设置 SSH，按照[此处](https://docs.qualcomm.com/bundle/publicresource/topics/80-70015-254/how_to.html#use-ssh)提到的步骤操作。
**步骤**
要使用 Valgrind 工具，可执行以下操作：
1. 将调试符号推送到设备。相关说明，参见[配置调试符号](https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html#debug_symbols)。
2. 在设备上运行 Valgrind 工具。
valgrind --tool=memcheck --leak-check=yes --show-reachable=yes --num-callers=20 --track-fds=yes /usr/bin/tqftpservCopy to clipboard
示例输出：
==622== Memcheck, a memory error detector
==622== Copyright (C) 2002-2017, and GNU GPL'd, by Julian Seward et al.
==622== Using Valgrind-3.18.1 and LibVEX; rerun with -h for copyright info
==622== Command: /usr/bin/tqftpserv
==622==
^C==622==
==622== Process terminating with default action of signal 2 (SIGINT)
==622== at 0x498EF38: select (select.c:69)
==622== by 0x4013CB: ??? (in /usr/bin/tqftpserv)
==622== by 0x48DB1AF: (below main) (libc_start_call_main.h:58)
==622==
==622== FILE DESCRIPTORS: 4 open (3 std) at exit.
==622== Open pf-42 socket 3:
==622== at 0x49984CC: socket (syscall-template.S:120)
==622== by 0x4891293: qrtr_open (in /usr/lib/libqrtr.so.1.0)
==622== by 0x40129B: ??? (in /usr/bin/tqftpserv)
==622== by 0x48DB1AF: (below main) (libc_start_call_main.h:58)
==622==
==622==
==622== HEAP SUMMARY:
==622== in use at exit: 0 bytes in 0 blocks
==622== total heap usage: 0 allocs, 0 frees, 0 bytes allocated
==622==
==622== All heap blocks were freed -- no leaks are possible
==622==
==622== For lists of detected and suppressed errors, rerun with: -s
==622== ERROR SUMMARY: 0 errors from 0 contexts (suppressed: 0 from 0)
==622== ERROR SUMMARY: 0 errors from 0 contexts (suppressed: 0 from 0)Copy to clipboard
有关详细信息，可访问 [https://valgrind.org/](https://valgrind.org/)。
## 使用 GDB 调试
Source: [https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html](https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html)
默认情况下，在版本中没有启用 GNU 调试器 (GDB)。要利用 GDB，在主机上执行以下操作：
1. 导航到 layers/meta-qcom-hwe/recipes-devtools/packagegroups/ 目录并打开 packagegroup-core-tools-debug.bbappend 文件。
2. 验证调试符号是否已启用。
readelf --debug-dump=decodedline Copy to clipboard
或
objdump --syms | grep -i ‘debug’Copy to clipboard
如果
未使能调试符号，使用 `-g` CFLAG 编译
所有所需的可执行文件或共享库。要向设备推送调试符号，
参见[配置调试符号](https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html#debug_symbols)。
3. 修改 packagegroup-core-tools-debug.bbappend 文件以将 `gdb` 添加到软件包列表中。如果软件包名称已在软件包列表中，则跳过此步骤。
4. 在设备上重新编译并刷写版本。
要使用 GDB 进行调试，在设备上运行以下命令：
gdb --pid 502Copy to clipboard
示例输出：
gdb: warning: Couldn't determine a path for the index cache directory.
GNU gdb (GDB) 11.2
Copyright (C) 2022 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Type "show copying" and "show warranty" for details.
This GDB was configured as "aarch64-qcom-linux".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
.
Find the GDB manual and other documentation resources online at:
.
For help, type "help".
Type "apropos word" to search for commands related to "word".
Attaching to process 502
Reading symbols from /usr/bin/tqftpserv...
(No debugging symbols found in /usr/bin/tqftpserv)
Reading symbols from /usr/lib/libqrtr.so.1...
(No debugging symbols found in /usr/lib/libqrtr.so.1)
Reading symbols from /lib/libc.so.6...
Reading symbols from /lib/.debug/libc.so.6...
Reading symbols from /lib/ld-linux-aarch64.so.1...
Reading symbols from /lib/.debug/ld-linux-aarch64.so.1...
[Thread debugging using libthread_db enabled]
Using host libthread_db library "/lib/libthread_db.so.1".
0x0000ffffab00ef34 in __GI___select (nfds=4, readfds=0xffffc2ec14f8, writefds=0x0, exceptfds=0x0, timeout=0x0) at ../sysdeps/unix/sysv/linux/select.c:69
69 ../sysdeps/unix/sysv/linux/select.c: No such file or directory.
(gdb)
(gdb)
(gdb)
(gdb)
Copy to clipboard
以下是一些常用的 GDB 命令：
Table : 常用 GDB 命令
| 命令 | 说明 |
| --- | --- |
| `(gdb) bt` | 提供当前线程的回溯。 |
| `(gdb) info threads` | 列出当前已知线程的 ID。 |
| `(gdb) thread 2` | 切换到线程 2。 |
| `(gdb) where` | 显示当前行号和您所在的
函数。 |
| `(gdb) thread apply all bt full` | 提供所有线程的回溯跟踪。 |
| `(gdb) info sharedlibrary` | 列出使用的共享库的名称。 |
| `(gdb) info reg` | 列出 CPU 寄存器。 |
如需了解更多信息，可访问 [https://man7.org/linux/man-pages/man1/gdb.1.html](https://man7.org/linux/man-pages/man1/gdb.1.html)。
## 收集 core dump
Source: [https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html](https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html)
core dump 是用户空间进程的内存拍照，可用于分析进程崩溃的原因。
根据 Yocto Linux 标准针对所有用户空间进程崩溃收集 core dump。默认情况下，会在版本中启用 core dump。生成的 core dump 保存在设备的 /var/coredump 中。
要验证 core dump 的位置，可运行以下命令：
cat /proc/sys/kernel/core_patternCopy to clipboard
示例输出： /var/coredump/%e.core
Core dump 的大小应大于 0（零）。要验证 core dump 的大小，运行以下命令：
ulimit -cCopy to clipboard
预期输出为：unlimited。
如果未启用 core dump，使用以下文件来启用：
layers/meta-qcom-distro/recipes-products/packagegroups/packagegroup-qcom.bb.
RDEPENDS:packagegroup-support-utils = "\
chrony \
libinput \
libinput-bin \
libnl \
libxml2 \
+++ procps \
"Copy to clipboard
Note: 使用此补丁启用 core dump 时，必须重新编译并重新刷写设备。
### 在 core dump 上使用 GDB
要生成 core dump，强制终止进程。下面是示例命令：
ps -ef | grep -i 'tqftp*'Copy to clipboard
示例输出：
root 1024 1 0 17:46 ? 00:00:00 /usr/bin/tqftpserv
root 1047 934 0 17:47 pts/0 00:00:00 grep -i tqftp*Copy to clipboard
kill -11 1024Copy to clipboard
cd /var/coredumpCopy to clipboard
lsCopy to clipboard
示例
输出：tqftpserv.core
tqftpserv.core 为 core dump 文件。
如果调试符号已推送到设备，运行以下命令以在 core dump 上使用 GDB 工具：
cd /usr/bin/Copy to clipboard
gdb tqftpserv /var/coredump/tqftpserv.coreCopy to clipboard
示例输出：
gdb: warning: Couldn't determine a path for the index cache directory.
GNU gdb (GDB) 11.2
Copyright (C) 2022 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later
This is free software: you are free to change and redistribute it.
Type "apropos word" to search for commands related to "word"...
Reading symbols from tqftpserv...
warning: exec file is newer than core file.
[New LWP 1024]
[Thread debugging using libthread_db enabled]
Using host libthread_db library "/lib/libthread_db.so.1".
Core was generated by `/usr/bin/tqftpserv'.
Program terminated with signal SIGSEGV, Segmentation fault.
#0 0x0000ffff8629ef34 in __GI___select (nfds=4,
readfds=readfds@entry=0xffffd04ccb28, writefds=writefds@entry=0x0,
--Type for more, q to quit, c to continue without paging--
exceptfds=exceptfds@entry=0x0, timeout=timeout@entry=0x0)
at ../sysdeps/unix/sysv/linux/select.c:69
69 ../sysdeps/unix/sysv/linux/select.c: No such file or directory.
(gdb) bt
#0 0x0000ffff8629ef34 in __GI___select (nfds=4,
readfds=readfds@entry=0xffffd04ccb28, writefds=writefds@entry=0x0,
exceptfds=exceptfds@entry=0x0, timeout=timeout@entry=0x0)
at ../sysdeps/unix/sysv/linux/select.c:69
#1 0x00000000004013cc in main (argc=, argv=)
at tqftpserv.c:552
Backtrace stopped: previous frame identical to this frame (corrupt stack?)
(gdb)Copy to clipboard
有关详细信息，可访问 [https://man7.org/linux/man-pages/man5/core.5.html](https://man7.org/linux/man-pages/man5/core.5.html)。
## 使用 gdbserver 调试
Source: [https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html](https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html)
可以使用 gdbserver 工具从主机远程运行 GDB 工具。当设备上的调试符号存在存储限制时，此工具对于问题调试非常有帮助。
### 在设备上启用 gdbserver
默认情况下，不会在版本中启用 gdbserver。要启用 gdbserver，可执行以下操作：
1. 导航到 layers/meta-qcom-hwe/recipes-devtools/packagegroups/ 目录并打开 packagegroup-core-tools-debug.bbappend 文件。
2. 修改 packagegroup-core-tools-debug.bbappend 文件以将 `gdbserver` 添加到软件包列表中。
3. 在设备上重新编译并刷写版本。
### 在设备上配置 gdbserver
要在设备上配置 gdbserver，可使用 SSH 运行以下命令：
mount -o rw,remount /Copy to clipboard
gdbserver :8888
Copy to clipboard
例如：
gdbserver :8888 /usr/bin/tqftpservCopy to clipboard
示例输出：
示例输出指示设备已准备好与主机通信。
### 在 Linux 主机上配置 gdb
要在 Linux 主机上配置 gdb 工具，执行以下操作：
1. 安装 gdb 和 gdb-multiarch 工具。
sudo apt-get install gdb gdb-multiarchCopy to clipboard
2. 创建一个调试目录以捕获版本中的所有符号。
mkdir test_gdbserverCopy to clipboard
3. 将具有调试符号的 rootfs 从编译位置复制到调试目录 test\_gdbserver 中。
cp -f /build-qcom-wayland/tmp-glibc/deploy/images//qcom-multimedia-image--dbg.rootfs.tar.bz2 test_gdbserverCopy to clipboard
cd test_gdbserverCopy to clipboard
tar -xvf qcom-multimedia-image--dbg.rootfs.tar.bz2Copy to clipboard
Note: 在运行这些命令时，将 ``
替换为下表中提到的
适当值。
| 芯片组 | 值 |
| --- | --- |
| QCS6490 | `qcm6490` |
| QCS5430 | `qcm6490` |
| QCS9075 | `qcs9100` |
| | |
test\_gdbserver 现已准好
这些符号。
4. 使用 `gdb-multiarch ` 启动 gdb-multiarch 工具。
例如，
gdb-multiarch test_gdbserver/usr/bin/tqftpservCopy to clipboard
gdb-multiarch
工具在 gdb 控制台上启动。
5. 在 gdb 控制台上运行以下命令：
set gnutarget elf64-littleaarch64Copy to clipboard
设置 sysroot <path-to-new-debug-directory>。
set sysroot /test_gdbserverCopy to clipboard
target remote :8888Copy to clipboard
btCopy to clipboard
bCopy to clipboard
info threadsCopy to clipboard
以下截屏显示了配置过程中的示例
输出：
$ gdb-multiarch /test_gdbserver/usr/bin/.debug/tqftpserv
GNU gdb (Ubuntu 9.2-0ubuntu1~20.04.2) 9.2
Copyright (C) 2020 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later http://gnu.org/licenses/gpl.html
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Type "show copying" and "show warranty" for details.
This GDB was configured as "x86_64-linux-gnu".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
http://www.gnu.org/software/gdb/bugs/.
Find the GDB manual and other documentation resources online at:
http://www.gnu.org/software/gdb/documentation/.Copy to clipboard
Reading symbols from /test_gdbserver/usr/bin/.debug/tqftpserv...
(gdb) set gnutarget elf64-littleaarch64
(gdb) set sysroot /test_gdbserver
(gdb) target remote 10.92.168.78:8888
Remote debugging using 10.92.168.78:8888
warning: while parsing target description (at line 71): Vector "v8bf16" references undefined type "bfloat16"
warning: Could not load XML target description; ignoring
warning: Unable to find dynamic linker breakpoint function.
Reading symbols from /test_gdbserver/lib/ld-linux-aarch64.so.1...
(no debugging symbols found)...done.
Reading symbols from /test_gdbserver/lib/.debug/ld-linux-aarch64.so.1...
Loaded symbols for /test_gdbserver/lib/.debug/ld-linux-aarch64.so.1
warning: no loadable sections found in added symbol-file system-supplied DSO at 0xfffff7ffb000
0x0000fffff7fda870 in _start ()
from /test_gdbserver/lib/.debug/ld-linux-aarch64.so.1
(gdb) bt
#0 0x0000fffff7fda870 in _start ()
from /test_gdbserver/lib/.debug/ld-linux-aarch64.so.1
#1 0x0000000000000000 in ?? ()
(gdb) b
Breakpoint 1 at 0xfffff7fda870
(gdb) info threads
Id Target Id Frame
* 1 Thread 3212 0x0000fffff7fda870 in _start ()
(gdb)Copy to clipboard
如需了解更多信息，可访问 [https://man7.org/linux/man-pages/man1/gdbserver.1.html](https://man7.org/linux/man-pages/man1/gdbserver.1.html)。
## 使用用户空间日志进行调试
Source: [https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html](https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html)
以下日志可用于调试在设备上使用 SSH 的用户空间中的问题：
### 系统日志
要验证是否已生成 syslog，运行以下命令：
cat /var/log/user.logCopy to clipboard
如果未生成 syslog，运行以下命令：
tail -f /var/log/messagesCopy to clipboard
示例日志：
Apr 28 17:42:30 qcm6490 daemon.info avahi-daemon[516]: No service file found in /etc/avahi/services.
Apr 28 17:42:30 qcm6490 daemon.info avahi-daemon[516]: Joining mDNS multicast group on interface lo.IPv6 with address ::1.
Apr 28 17:42:30 qcm6490 daemon.info avahi-daemon[516]: New relevant interface lo.IPv6 for mDNS.
Apr 28 17:42:30 qcm6490 daemon.info avahi-daemon[516]: Joining mDNS multicast group on interface lo.IPv4 with address 127.0.0.1.
Apr 28 17:42:30 qcm6490 daemon.info avahi-daemon[516]: New relevant interface lo.IPv4 for mDNS.Copy to clipboard
### journalctl 日志
要生成 journalctl 日志，运行以下命令：
journalctl -efCopy to clipboard
示例日志：
Apr 28 17:42:28 qcm6490 kernel: spmi-temp-alarm c440000.spmi:pmic@2:temp-alarm@2400: error -ENXIO: IRQ index 0 not found
Apr 28 17:42:28 qcm6490 kernel: qcom-spmi-adc5 c440000.spmi:pmic@2:adc@3100: Invalid dig version read -19
Apr 28 17:42:28 qcm6490 kernel: qcom-spmi-adc5 c440000.spmi:pmic@2:adc@3100: error -ENODEV: adc get dt data failed
Apr 28 17:42:28 qcm6490 kernel: qcom-spmi-adc5 c440000.spmi:pmic@0:adc@3100: error -EINVAL: adc get dt data failed
Apr 28 17:42:28 qcm6490 kernel: qcom-spmi-adc5: probe of c440000.spmi:pmic@0:adc@3100 failed with error -22
Apr 28 17:42:28 qcm6490 kernel: dwc3 a600000.usb: Adding to iommu group
Apr 28 17:42:29 qcm6490 systemd[1]: First Boot Complete was skipped because of a failed condition check (ConditionFirstBoot=yes).
Apr 28 17:42:29 qcm6490 systemd[1]: Reached target Hardware activated USB gadget.Copy to clipboard
## 配置调试符号
Source: [https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html](https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html)
解析 core dump 需要调试符号；Yocto Linux 根据设计编译一个软件包并将其拆分成多个软件包。例如，如果用 hello\_0.1.bb 文件编译 hello.cpp 文件，则会生成多个软件包。
下表列出了与 core dump 相关的软件包。
Table : 解析 core dump 所需的软件包
| 软件包 | 说明 |
| --- | --- |
| hello\_0.1-r0\_armv8-2a.ipk | 此软件包包含一个 stripped 的可执行文件。这是在设备镜像中包含的唯一软件包。 |
| hello-dbg\_0.1-r0\_armv8-2a.ipk | 此软件包包含调试符号，永远不会在镜像中打包。
该调试软件包 (-dbg) 会显著增加镜像大小，这会导致在镜像中包含该包时出现问题。此外，除了调试之外，此软件包没有运行时值。因此，Yocto 不会在镜像中包含任何 -dbg 软件包。 |
| hello-dev\_0.1-r0\_armv8-2a.ipk | 此包包含依赖模块在编译期间使用的导出头文件和库。 |
按照 Yocto Linux 标准，调试符号存储在以下编译位置路径中：tmp-glibc/deploy/ipk/armv8-2a。例如，tqftpserv-dbg\_0.0+0+de42697a24-r0\_armv8-2a.ipk 软件包包含 /usr/bin/tqftpserv 目录的调试符号。
要将调试符号推送到设备上，可使用 SSH 执行以下操作：
1. 重新挂载 rootfs。
mount -o rw,remount /Copy to clipboard
2. 使用 `scp` 命令，将调试符号 (tqftpserv-dbg\_0.0+0+de42697a24-r0\_armv8-2a.ipk) 推送到任何可用分区（如 /data/）中的设备。
chmod 777 /data/tqftpserv-dbg_0.0+0+de42697a24-r0_armv8-2a.ipkCopy to clipboard
cd dataCopy to clipboard
3. 在设备上安装调试符号。
opkg install --nodeps tqftpserv-dbg_0.0+0+de42697a24-r0_armv8-2a.ipkCopy to clipboard
将调试符号推送到设备后，这些符号保存在 .debug 目录中
可执行目录的路径下。例如，对于 /usr/bin/tqftpserv 目录，调试符号保存在 /usr/bin/.debug 目录中。
要识别设备上可用的调试符号，可运行以下命令：
cd /usr/bin/.debugCopy to clipboard
lsCopy to clipboard
示例输出：
gencat getent locale pcprofiledump sprof zdump
getconf iconv makedb pldd tqftpservCopy to clipboard
## 重启命令
Source: [https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html](https://docs.qualcomm.com/doc/80-70015-12SC/topic/using_open_source_debug_tools.html)
用户空间重启框架使用内核驱动程序 (`drivers/firmware/psci/psci.c`) 触发重启。可以使用 SSH 运行以下重启命令：
Table : 重启命令
| 命令 | 说明 |
| --- | --- |
| `reboot edl` | 此命令会将设备重启为紧急下载 (EDL) 模式。有关 EDL 模式的更多信息，参见 [Qualcomm Linux 编译指南](https://docs.qualcomm.com/bundle/publicresource/topics/80-70015-254/flash_images.html#move-to-edl-mode)。 |
| `reboot bootloader` | 此命令会将设备重启为 Fastboot 模式。有关 Fastboot 模式的更多信息，参见 [Qualcomm Linux 启动指南](https://docs.qualcomm.com/bundle/publicresource/topics/80-70015-4/fastboot.html)。 |
下面是 `reboot` 命令可用的可选参数：
Last Published: Dec 02, 2024
[Previous Topic
概述](https://docs.qualcomm.com/bundle/publicresource/80-70015-12SC/topics/Debug-overview.md) [Next Topic
调试 Linux 内核空间](https://docs.qualcomm.com/bundle/publicresource/80-70015-12SC/topics/debugging_linux_kernel.md)