# 调试 Linux 用户空间问题
下图显示了可用于调试与 Linux 用户空间应用程序相关的问题的开源工具、dump 和日志。
**图：用于调试 Linux 用户空间中问题的资源**
使用 `packagegroup-core-tools-debug.bbappend` BitBake 文件启用受支持的开源调试工具。BitBake 文件位于： `layers/meta-qcom-hwe/recipes-devtools/packagegroups/` 此处描述了启用和使用 ltrace 等开源工具的过程。
## 使用 ltrace 调试
默认情况下，会在版本中启用 ltrace。
**前提条件**
设置 SSH，有关说明，请参阅 [SSH](https://docs.qualcomm.com/bundle/publicresource/topics/80-70017-254/how_to.html#use-ssh) 的使用说明。
**步骤**
请使用 SSH 运行以下命令，以便使用 ltrace 进行调试：
1. 运行进程状态命令：
ps -ef
Copy to clipboard
示例输出：
339 rpc 0:00 /usr/sbin/rpcbind -w -f
345 root 0:00 /lib/systemd/systemd-journald
373 root 0:00 [kworker/3:6-mm\_]
2. 标识待调试进程的进程 ID (PID)。
3. 运行 `ltrace` 命令：
ltrace -p 345
Copy to clipboard
在此示例中，`345` 为 PID。
示例输出：
journal\_file\_close(0x25e30170, -1, 0, 0 <unfinished ...>
sockaddr\_un\_unlink(0x25e30170, -1, 0, 0
<unfinished ...>
sd\_journal\_close(0x25e31c00, 1, 3, 0x409e70) = 0
sd\_journal\_close(0x25e31d50, 1, 0, 1) = 0
<... sockaddr\_un\_unlink resumed> ) = 1
<... journal\_file\_close resumed> ) = 1
journal\_file\_close(0x25e30170, -1, 0, 0 <unfinished ...>
sockaddr\_un\_unlink(0x25e30170, -1, 0, 0 <unfinished ...>
sd\_event\_now(15, 0x41ed20, 10, 64) = 10
openat64(2, 0x41ed20, 10, 64 <unfinished ...>
clock\_gettime(2, 0x41ed20, 10, 64) = 6
关于更多详细信息，请参阅 [https://man7.org/linux/man-pages/man1/ltrace.1.html](https://man7.org/linux/man-pages/man1/ltrace.1.html)。
## 使用 Valgrind 调试
Valgrind 工具可以检测 C 和 C++ 程序中常见的与内存相关的错误。这些错误会导致崩溃和不可预测的行为，例如内存泄漏和内存损坏。默认情况下，会在版本中启用 Valgrind 工具。
**前提条件**
设置 SSH，有关说明，请参阅 [SSH](https://docs.qualcomm.com/bundle/publicresource/topics/80-70017-254/how_to.html#use-ssh) 的使用说明。
**步骤**
要使用 Valgrind 工具，请执行以下操作：
1. 将调试符号推送至设备。相关说明，可参见[配置调试符号](https://docs.qualcomm.com/doc/80-70017-12SC/topic/using_open_source_debug_tools.html#debug-symbols)。
2. 在设备上运行 Valgrind 工具。
valgrind --tool=memcheck --leak-check=yes --show-reachable=yes --num-callers=20 --track-fds=yes /usr/bin/tqftpserv
Copy to clipboard
示例输出：
==622== Memcheck, a memory error detector
==622== Copyright (C) 2002-2017, and GNU GPL'd, by Julian Seward et al.
==622== Using Valgrind-3.18.1 and LibVEX; rerun with -h for copyright info
==622== Command: /usr/bin/tqftpserv
==622==
^C==622==
==622== Process terminating with default action of signal 2 (SIGINT)
==622== at 0x498EF38: select (select.c:69)
==622== by 0x4013CB: ??? (in /usr/bin/tqftpserv)
==622== by 0x48DB1AF: (below main) (libc\_start\_call\_main.h:58)
==622==
==622== FILE DESCRIPTORS: 4 open (3 std) at exit.
==622== Open pf-42 socket 3:
==622== at 0x49984CC: socket (syscall-template.S:120)
==622== by 0x4891293: qrtr\_open (in /usr/lib/libqrtr.so.1.0)
==622== by 0x40129B: ??? (in /usr/bin/tqftpserv)
==622== by 0x48DB1AF: (below main) (libc\_start\_call\_main.h:58)
==622==
==622==
==622== HEAP SUMMARY:
==622== in use at exit: 0 bytes in 0 blocks
==622== total heap usage: 0 allocs, 0 frees, 0 bytes allocated
==622==
==622== All heap blocks were freed -- no leaks are possible
==622==
==622== For lists of detected and suppressed errors, rerun with: -s
==622== ERROR SUMMARY: 0 errors from 0 contexts (suppressed: 0 from 0)
==622== ERROR SUMMARY: 0 errors from 0 contexts (suppressed: 0 from 0)
关于更多详细信息，请参阅 [https://valgrind.org/](https://valgrind.org/)。
## 使用 GDB 调试
默认情况下，GNU 调试器 (GDB) 在版本中未启用。请在 Linux 主机上执行以下操作，以便启用 GDB：
1. 导航至 `layers/meta-qcom-hwe/recipes-devtools/packagegroups/` 目录并打开 `packagegroup-core-tools-debug.bbappend` 文件。
2. 验证调试符号是否已启用。
readelf --debug-dump=decodedline
Copy to clipboard
或
objdump --syms | grep -i ‘debug’
Copy to clipboard
如果未启用调试符号，请使用 `-g` CFLAG 编译所有必需的可执行文件或共享库。要将调试符号推送到设备，请参阅[配置调试符号](https://docs.qualcomm.com/doc/80-70017-12SC/topic/using_open_source_debug_tools.html#debug-symbols)。
3. 修改 `packagegroup-core-tools-debug.bbappend` 文件，在包列表中添加 `gdb`。如果软件包名称在软件包列表中存在，则跳过此步骤。
4. 在设备上重新编译并刷写版本。
请在设备上运行以下命令，以便使用 GDB 进行调试：
gdb --pid 502
Copy to clipboard
示例输出：
gdb: warning: Couldn't determine a path for the index cache directory.
GNU gdb (GDB) 11.2
Copyright (C) 2022 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <[http://gnu.org/licenses/gpl.html](http://gnu.org/licenses/gpl.html)>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Type "show copying" and "show warranty" for details.
This GDB was configured as "aarch64-qcom-linux".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
<[https://www.gnu.org/software/gdb/bugs/](https://www.gnu.org/software/gdb/bugs/)>.
Find the GDB manual and other documentation resources online at:
<[http://www.gnu.org/software/gdb/documentation/](http://www.gnu.org/software/gdb/documentation/)>.
For help, type "help".
Type "apropos word" to search for commands related to "word".
Attaching to process 502
Reading symbols from /usr/bin/tqftpserv...
(No debugging symbols found in /usr/bin/tqftpserv)
Reading symbols from /usr/lib/libqrtr.so.1...
(No debugging symbols found in /usr/lib/libqrtr.so.1)
Reading symbols from /lib/libc.so.6...
Reading symbols from /lib/.debug/libc.so.6...
Reading symbols from /lib/ld-linux-aarch64.so.1...
Reading symbols from /lib/.debug/ld-linux-aarch64.so.1...
[Thread debugging using libthread\_db enabled]
Using host libthread\_db library "/lib/libthread\_db.so.1".
0x0000ffffab00ef34 in \_\_GI\_\_\_select (nfds=4, readfds=0xffffc2ec14f8, writefds=0x0, exceptfds=0x0, timeout=0x0) at ../sysdeps/unix/sysv/linux/select.c:69
69 ../sysdeps/unix/sysv/linux/select.c: No such file or directory.
(gdb)
(gdb)
(gdb)
(gdb)
下表列出了常用的GDB命令。
表：常用GDB命令
| 命令 | 说明 |
| --- | --- |
| `(gdb) bt` | 提供当前线程的回溯。 |
| `(gdb) info threads` | 列出当前已知线程的 ID。 |
| `(gdb) thread 2` | 切换到线程2。 |
| `(gdb) where` | 显示当前行号和您所在的函数。 |
| `(gdb) thread apply all bt full` | 提供所有线程的回溯。 |
| `(gdb) info sharedlibrary` | 列出所使用的共享库的名称。 |
| `(gdb) info reg` | 列出 CPU 寄存器。 |
有关详细信息，请参见 [https://man7.org/linux/man-pages/man1/gdb.1.html](https://man7.org/linux/man-pages/man1/gdb.1.html)。
## 收集 core dump
Core dump 是用户空间进程的内存快照，可用于分析进程崩溃的原因。
根据 Yocto Linux 标准针对所有用户空间进程崩溃收集 core dump。默认情况下，core dump 在版本中启用。生成的 core dump 保存在 `/var/coredump` 处的设备上。
要验证 core dump 的位置，可运行以下命令：
cat /proc/sys/kernel/core_pattern
Copy to clipboard
示例输出：
/var/coredump/%e.core
Core dump 的大小必须大于 0（零）。要验证 core dump 的大小，可运行以下命令：
ulimit -c
Copy to clipboard
示例输出：
unlimited
如果未启用 core dump，请使用以下文件启用它：
`layers/meta-qcom-distro/recipes-products/packagegroups/packagegroup-qcom.bb`.
RDEPENDS:packagegroup-support-utils = "\
chrony \
libinput \
libinput-bin \
libnl \
libxml2 \
+++ procps \
"
Copy to clipboard
Note
使用此补丁启用 core dump 时，必须重新编译并重新刷写设备。
### 在 core dump 上使用 GDB
要生成 core dump，需要强制终止进程。因此，请运行以下命令：
ps -ef | grep -i 'tqftp*'
Copy to clipboard
示例输出：
root 1024 1 0 17:46 ? 00:00:00 /usr/bin/tqftpserv
root 1047 934 0 17:47 pts/0 00:00:00 grep -i tqftp\*
kill -11 1024
Copy to clipboard
cd /var/coredump
Copy to clipboard
ls
Copy to clipboard
示例输出：
tqftpserv.core
`tqftpserv.core` 为 core dump 文件。
如果调试符号已推送至设备，请运行以下命令以在 core dump 上使用 GDB 工具：
cd /usr/bin/
Copy to clipboard
gdb tqftpserv /var/coredump/tqftpserv.core
Copy to clipboard
示例输出：
gdb: warning: Couldn't determine a path for the index cache directory.
GNU gdb (GDB) 11.2
Copyright (C) 2022 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <[http://gnu.org/licenses/gpl.html](http://gnu.org/licenses/gpl.html)>
This is free software: you are free to change and redistribute it.
Type "apropos word" to search for commands related to "word"...
Reading symbols from tqftpserv...
warning: exec file is newer than core file.
[New LWP 1024]
[Thread debugging using libthread\_db enabled]
Using host libthread\_db library "/lib/libthread\_db.so.1".
Core was generated by [`](https://docs.qualcomm.com/doc/80-70017-12SC/topic/using_open_source_debug_tools.html#id2)/usr/bin/tqftpserv'.
Program terminated with signal SIGSEGV, Segmentation fault.
#0 0x0000ffff8629ef34 in \_\_GI\_\_\_select (nfds=4,
[readfds=readfds@entry=0xffffd04ccb28](mailto:readfds=readfds%40entry=0xffffd04ccb28), [writefds=writefds@entry=0x0](mailto:writefds=writefds%40entry=0x0),
--Type <RET> for more, q to quit, c to continue without paging--
[exceptfds=exceptfds@entry=0x0](mailto:exceptfds=exceptfds%40entry=0x0), [timeout=timeout@entry=0x0](mailto:timeout=timeout%40entry=0x0))
at ../sysdeps/unix/sysv/linux/select.c:69
69 ../sysdeps/unix/sysv/linux/select.c: No such file or directory.
(gdb) bt
#0 0x0000ffff8629ef34 in \_\_GI\_\_\_select (nfds=4,
[readfds=readfds@entry=0xffffd04ccb28](mailto:readfds=readfds%40entry=0xffffd04ccb28), [writefds=writefds@entry=0x0](mailto:writefds=writefds%40entry=0x0),
[exceptfds=exceptfds@entry=0x0](mailto:exceptfds=exceptfds%40entry=0x0), [timeout=timeout@entry=0x0](mailto:timeout=timeout%40entry=0x0))
at ../sysdeps/unix/sysv/linux/select.c:69
#1 0x00000000004013cc in main (argc=<optimized out>, argv=<optimized out>)
at tqftpserv.c:552
Backtrace stopped: previous frame identical to this frame (corrupt stack?)
(gdb)
关于更多详细信息，请参阅 [https://man7.org/linux/man-pages/man5/core.5.html](https://man7.org/linux/man-pages/man5/core.5.html)。
## 使用 gdbserver 调试
gdbserver 工具允许用户从 Linux 主机远程运行 GDB 工具。当设备上的调试符号存在存储限制时，此工具对于调试非常有帮助。
### 在设备上启用 gdbserver
默认情况下，不会在版本中启用 gdbserver。要启用 gdbserver，可执行以下操作：
1. 转至 `layers/meta-qcom-hwe/recipes-devtools/packagegroups/` 目录并打开 `packagegroup-core-tools-debug.bbappend` 文件。
2. 修改 `packagegroup-core-tools-debug.bbappend` 文件，将 `gdbserver` 添加到包列表中。
3. 在设备上重新编译并刷写版本。
### 在设备上配置 gdbserver
要在设备上配置 gdbserver，可使用 SSH 运行以下命令：
mount -o rw,remount /
Copy to clipboard
gdbserver :8888
Copy to clipboard
例如：
gdbserver :8888 /usr/bin/tqftpserv
Copy to clipboard
示例输出：
示例输出指示设备已准备好与 Linux 主机通信。
### 在 Linux 主机上配置 gdb
请执行以下操作，在 Linux 主机上配置 gdb 工具：
1. 安装 gdb 和 gdb-multiarch 工具。
sudo apt-get install gdb gdb-multiarch
Copy to clipboard
2. 创建调试目录以采集版本中的所有符号。
mkdir test_gdbserver
Copy to clipboard
3. 将具有调试符号的 rootfs 从编译位置复制到 `test_gdbserver` 调试目录中。
cp -f /build-qcom-wayland/tmp-glibc/deploy/images//qcom-multimedia-image--dbg.rootfs.tar.bz2 test_gdbserver
Copy to clipboard
cd test_gdbserver
Copy to clipboard
tar -xvf qcom-multimedia-image--dbg.rootfs.tar.bz2
Copy to clipboard
Note
运行这些命令时，将 `` 替换为下表中指定的适当值。
| 芯片组 | 值 |
| --- | --- |
| QCS6490 | `qcm6490` |
| QCS5430 | `qcm6490` |
| QCS8275 | `qcs8300` |
| QCS9075 | `qcs9100` |
| | |
`test_gdbserver` 现已准好这些符号。
4. 使用 `gdb-multiarch ` 命令启动 gdb-multiarch 工具。
例如，
gdb-multiarch test_gdbserver/usr/bin/tqftpserv
Copy to clipboard
gdb-multiarch 工具在 gdb 控制台上启动。
5. 在 gdb 控制台上运行以下命令：
set gnutarget elf64-littleaarch64
Copy to clipboard
设置 sysroot <path-to-new-debug-directory>。
set sysroot /test_gdbserver
Copy to clipboard
target remote :8888
Copy to clipboard
bt
Copy to clipboard
b
Copy to clipboard
info threads
Copy to clipboard
以下屏幕截图显示了配置过程的示例输出。
$ gdb-multiarch /test\_gdbserver/usr/bin/.debug/tqftpserv
GNU gdb (Ubuntu 9.2-0ubuntu1~20.04.2) 9.2
Copyright (C) 2020 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later [http://gnu.org/licenses/gpl.html](http://gnu.org/licenses/gpl.html)
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.
Type "show copying" and "show warranty" for details.
This GDB was configured as "x86\_64-linux-gnu".
Type "show configuration" for configuration details.
For bug reporting instructions, please see:
[http://www.gnu.org/software/gdb/bugs/](http://www.gnu.org/software/gdb/bugs/).
Find the GDB manual and other documentation resources online at:
[http://www.gnu.org/software/gdb/documentation/](http://www.gnu.org/software/gdb/documentation/).
Reading symbols from /test\_gdbserver/usr/bin/.debug/tqftpserv...
(gdb) set gnutarget elf64-littleaarch64
(gdb) set sysroot /test\_gdbserver
(gdb) target remote 10.92.168.78:8888
Remote debugging using 10.92.168.78:8888
warning: while parsing target description (at line 71): Vector "v8bf16" references undefined type "bfloat16"
warning: Could not load XML target description; ignoring
warning: Unable to find dynamic linker breakpoint function.
Reading symbols from /test\_gdbserver/lib/ld-linux-aarch64.so.1...
(no debugging symbols found)...done.
Reading symbols from /test\_gdbserver/lib/.debug/ld-linux-aarch64.so.1...
Loaded symbols for /test\_gdbserver/lib/.debug/ld-linux-aarch64.so.1
warning: no loadable sections found in added symbol-file system-supplied DSO at 0xfffff7ffb000
0x0000fffff7fda870 in \_start ()
from /test\_gdbserver/lib/.debug/ld-linux-aarch64.so.1
(gdb) bt
#0 0x0000fffff7fda870 in \_start ()
from /test\_gdbserver/lib/.debug/ld-linux-aarch64.so.1
#1 0x0000000000000000 in ?? ()
(gdb) b
Breakpoint 1 at 0xfffff7fda870
(gdb) info threads
Id Target Id Frame
\* 1 Thread 3212 0x0000fffff7fda870 in \_start ()
(gdb)
有关详细信息，请参见 [https://man7.org/linux/man-pages/man1/gdbserver.1.html](https://man7.org/linux/man-pages/man1/gdbserver.1.html)。
## 使用用户空间日志进行调试
以下日志可用于在设备上使用SSH调试用户空间中的问题。
### 系统日志
请运行以下命令，以便验证是否生成了系统日志：
cat /var/log/user.log
Copy to clipboard
如果未生成系统日志，请运行以下命令：
tail -f /var/log/messages
Copy to clipboard
示例日志：
Apr 28 17:42:30 qcm6490 daemon.info avahi-daemon[516]: No service file found in /etc/avahi/services.
Apr 28 17:42:30 qcm6490 daemon.info avahi-daemon[516]: Joining mDNS multicast group on interface lo.IPv6 with address ::1.
Apr 28 17:42:30 qcm6490 daemon.info avahi-daemon[516]: New relevant interface lo.IPv6 for mDNS.
Apr 28 17:42:30 qcm6490 daemon.info avahi-daemon[516]: Joining mDNS multicast group on interface lo.IPv4 with address 127.0.0.1.
Apr 28 17:42:30 qcm6490 daemon.info avahi-daemon[516]: New relevant interface lo.IPv4 for mDNS.
### journalctl 日志
要生成 systemd Journalctl 日志，请运行以下命令：
journalctl -ef
Copy to clipboard
示例日志：
Apr 28 17:42:28 qcm6490 kernel: spmi-temp-alarm c440000.spmi:pmic@2:temp-alarm@2400: error -ENXIO: IRQ index 0 not found
Apr 28 17:42:28 qcm6490 kernel: qcom-spmi-adc5 c440000.spmi:pmic@2:adc@3100: Invalid dig version read -19
Apr 28 17:42:28 qcm6490 kernel: qcom-spmi-adc5 c440000.spmi:pmic@2:adc@3100: error -ENODEV: adc get dt data failed
Apr 28 17:42:28 qcm6490 kernel: qcom-spmi-adc5 c440000.spmi:pmic@0:adc@3100: error -EINVAL: adc get dt data failed
Apr 28 17:42:28 qcm6490 kernel: qcom-spmi-adc5: probe of c440000.spmi:pmic@0:adc@3100 failed with error -22
Apr 28 17:42:28 qcm6490 kernel: dwc3 a600000.usb: Adding to iommu group
Apr 28 17:42:29 qcm6490 systemd[1]: First Boot Complete was skipped because of a failed condition check (ConditionFirstBoot=yes).
Apr 28 17:42:29 qcm6490 systemd[1]: Reached target Hardware activated USB gadget.
## 配置调试符号
解析 core dump 需要调试符号；Yocto Linux 按照设计，编译一个软件包并将其拆分为多个软件包。例如，`hello_0.1.bb` 文件编译 `hello.cpp` 文件，会生成多个包。
下表列出了与 core dump 相关的软件包。
表格：解析 core dump 所需的软件包
| 软件包 | 说明 |
| --- | --- |
| `hello_0.1-r0_armv8-2a.ipk` | 此软件包包含一个 stripped 的可执行文件。它是设备映像中包含的唯一软件包。 |
| `hello-dbg_0.1-r0_armv8-2a.ipk` | 此软件包包含调试符号，永远不会在镜像中打包。调试包(-dbg)会显著增加映像大小，从而导致在映像中包含此包时出现问题。此外，除了调试之外，此软件包没有运行时值。因此，作为一种策略，Yocto 不会在图像中包含任何 -dbg 包。 |
| `hello-dev_0.1-r0_armv8-2a.ipk` | 此软件包包含相关模块编译时使用的导出头文件和导出库。 |
根据 Yocto Linux 标准，调试符号存储在版本位置路径： `tmp-glibc/deploy/ipk/armv8-2a`。例如，`tqftpserv-dbg_0.0+0+de42697a24-r0_armv8-2a.ipk` 包包含 `/usr/bin/tqftpserv` 目录的调试符号。
请使用 SSH 执行以下操作，以便将调试符号推送至设备。
1. 重新挂载 rootfs。
mount -o rw,remount /
Copy to clipboard
2. 使用 `scp` 命令，将调试符号 (`tqftpserv-dbg_0.0+0+de42697a24-r0_armv8-2a.ipk`) 推送到设备的任何可用分区（例如 `/data/`）。
chmod 777 /data/tqftpserv-dbg_0.0+0+de42697a24-r0_armv8-2a.ipk
Copy to clipboard
cd data
Copy to clipboard
3. 在设备上安装调试符号。
opkg install --nodeps tqftpserv-dbg_0.0+0+de42697a24-r0_armv8-2a.ipk
Copy to clipboard
将调试符号推送到设备后，这些符号保存在 `.debug` 目录中可执行目录的路径下。例如，关于 `/usr/bin/tqftpserv` 目录，调试符号保存在 `/usr/bin/.debug` 目录中。
请运行以下命令，以便识别设备上可用的调试符号：
cd /usr/bin/.debug
Copy to clipboard
ls
Copy to clipboard
示例输出：
gencat getent locale pcprofiledump sprof zdump
getconf iconv makedb pldd tqftpserv
## 重启命令
用户空间重启框架使用内核驱动程序 (`drivers/firmware/psci/psci.c`) 触发重启。可以使用 SSH 运行以下重新启动命令：
表：重启命令
| 命令 | 说明 |
| --- | --- |
| `reboot edl` | 此命令会将设备重启为紧急下载 (EDL) 模式。有关 EDL 模式的更多信息，参见 [Qualcomm Linux 编译指南](https://docs.qualcomm.com/bundle/publicresource/topics/80-70017-254/flash_images.html#move-to-edl-mode)。 |
| `reboot bootloader` | 此命令会将设备重启为 Fastboot 模式。有关 Fastboot 模式的更多信息，参见 [Qualcomm Linux 启动指南](https://docs.qualcomm.com/bundle/publicresource/topics/80-70017-4/tools.html#fastboot)。 |
以下是可与 `reboot` 命令一起使用的可选参数。
Last Published: Jan 23, 2025
[Previous Topic
概述](https://docs.qualcomm.com/bundle/publicresource/80-70017-12SC/topics/Debug-overview.md) [Next Topic
调试 Linux 内核空间问题](https://docs.qualcomm.com/bundle/publicresource/80-70017-12SC/topics/debugging_linux_kernel.md)
Source: [https://docs.qualcomm.com/doc/80-70017-12SC/topic/using_open_source_debug_tools.html](https://docs.qualcomm.com/doc/80-70017-12SC/topic/using_open_source_debug_tools.html)