iowait 偶发打满 cpu

justxuewei

设备环境：物理机（1 * NVMe as rootfs，2 * HDD RAID0，1 * SATA SSD）

BUG现象：见下

出现频率：偶现

联系方式：niuxuewei97@gmail.com

日志文件：已经重启，未捕获

从监控上可以看到 iowait 持续飙高，但是并未找到 root cause。尝试过关闭 docker service、手动 kill trim ai_manager 和 photos 两个应用，均无效果，在网页中也关闭了 NFS、WebDAV、FTP 和 SMB 共享服务，但问题并未解决。

从 top 来看 wa 占用 8.3，本机共 12 cores，所以有一个 core 被 iowait 打满。

$ top
%Cpu(s): 0.1 us, 0.3 sy, 0.0 ni, 91.3 id, 8.3 wa, 0.0 hi, 0.0 si, 0.0 st

使用 sar 统计 CPU 状态，能看到 cpu11 的 iowait 打满

$ sudo sar -P ALL 1 3

justxuewei

编辑器有点难受。。继续补充信息

$ sudo sar -P ALL 1 3
Linux 6.12.18-trim (HomeLab) 	10/23/2025 	_x86_64_	(12 CPU)

10:35:58 AM     CPU     %user     %nice   %system   %iowait    %steal     %idle
10:35:59 AM     all      0.08      0.00      0.00      8.35      0.00     91.56
10:35:59 AM       0      0.00      0.00      0.00      0.00      0.00    100.00
10:35:59 AM       1      0.00      0.00      0.00      0.00      0.00    100.00
10:35:59 AM       2      0.00      0.00      0.00      0.00      0.00    100.00
10:35:59 AM       3      0.00      0.00      0.00      0.00      0.00    100.00
10:35:59 AM       4      0.99      0.00      0.00      0.00      0.00     99.01
10:35:59 AM       5      0.00      0.00      0.00      0.00      0.00    100.00
10:35:59 AM       6      0.00      0.00      0.00      0.00      0.00    100.00
10:35:59 AM       7      0.00      0.00      0.00      0.00      0.00    100.00
10:35:59 AM       8      0.00      0.00      0.00      0.00      0.00    100.00
10:35:59 AM       9      0.00      0.00      0.00      0.00      0.00    100.00
10:35:59 AM      10      0.00      0.00      0.00      0.00      0.00    100.00
10:35:59 AM      11      0.00      0.00      0.00    100.00      0.00      0.00

查询 iostat 硬盘利用率很低，全部进程无 D 状态。运行在 cpu 11 的进程

$ sudo ps -eo pid,psr,state,%cpu,comm,args | awk '$2 == 11'

     83  11 S  0.0 cpuhp/11        [cpuhp/11]
     84  11 S  0.0 idle_inject/11  [idle_inject/11]
     85  11 S  0.0 migration/11    [migration/11]
     86  11 S  0.0 ksoftirqd/11    [ksoftirqd/11]
     88  11 I  0.0 kworker/11:0H-e [kworker/11:0H-events_highpri]
    102  11 I  0.0 kworker/R-inet_ [kworker/R-inet_frag_wq]
    198  11 I  0.0 kworker/11:1H-k [kworker/11:1H-kblockd]
    264  11 I  0.0 kworker/11:2-mm [kworker/11:2-mm_percpu_wq]
   1781  11 S  0.0 avahi_service   /usr/trim/bin/avahi_service
   1795  11 S  0.0 mediasrv        /usr/trim/bin/mediasrv -o /usr/trim/logs/mediasrv.log -a /var/run/mediasrv.socket
   1801  11 S  0.0 resmon_service  /usr/trim/bin/resmon_service
   1814  11 S  0.0 cloud_storage_d /usr/trim/bin/cloud_storage_dav
   1912  11 S  0.0 ai_manager      /usr/trim/bin/ai_manager
   2273  11 S  0.0 upowerd         /usr/libexec/upowerd
   3916  11 S  0.0 dockermgr       /usr/trim/bin/dockermgr
   3939  11 S  0.0 accountsrv      /usr/trim/bin/accountsrv
   3978  11 S  0.0 postgres        postgres: 15/main: postgres trim [local] idle
   4096  11 S  0.0 postgres        postgres: 15/main: postgres postgres [local] idle
   4962  11 S  0.0 trim-connect    /usr/trim/bin/trim-connect/trim-connect --trimapi https://fnos.net
   5033  11 S  0.1 trim-photos     /usr/local/apps/@appcenter/trim.photos/trim-photos
   5111  11 S  0.0 trim-sharelink  /usr/trim/bin/trim-sharelink
   5124  11 S  0.0 postgres        postgres: 15/main: share trim_sharelink [local] idle
   5758  11 S  0.0 pxy             ./pxy --s /usr/trim/var/trim_connect/pxy.sock -ver 1.6.0
  39764  11 I  0.0 kworker/u48:0-e [kworker/u48:0-events_unbound]
  41313  11 I  0.0 kworker/11:1-wg [kworker/11:1-wg-crypt-wg0]
  42426  11 S  0.0 containerd-shim /usr/bin/containerd-shim-runc-v2 -namespace moby -id 1c28a4e084a4be36e82922405df14d564d32bcde3d2471de2bcce37a8e6e2b3d -address /run/containerd/containerd.sock
  42759  11 S  0.0 s6-**can       /package/admin/s6/command/s6-**can -d4 -- /run/service
  42782  11 S  0.0 s6-**can       s6-**can -t0 /var/run/s6/services
  42987  11 S  0.0 docker-proxy    /usr/bin/docker-proxy -proto udp -host-ip 0.0.0.0 -host-port 24562 -container-ip 172.17.0.3 -container-port 24562 -use-listen-fd
  44054  11 S  0.0 zsh             -zsh
  45094  11 S  0.0 sshd            sshd: xxx@pts/2
  45112  11 S  0.0 zsh             -zsh

飞牛技术同学

感谢反馈，我们跟进一下

justxuewei

请问这个有后续吗？看了下升级到 1.0.0，这个问题偶发存在

justxuewei

最近这个问题经常出现，又查了下，看起来是 DRM 的问题，具体的信息是

$ ps -eL o pid,tid,stat,wchan:30,comm | grep " D"
2047976 2047976 D    drm\_atomic\_helper\_wait\_for\_fli kworker/4:0+events
$ lsmod | grep -E "nvidia|amdgpu|i915|nouveau"
amdgpu              14168064  0
amdxcp                 12288  1 amdgpu
drm\_exec               12288  1 amdgpu
gpu\_sched              65536  1 amdgpu
drm\_buddy              20480  1 amdgpu
i2c\_algo\_bit           12288  1 amdgpu
drm\_suballoc\_helper    12288  1 amdgpu
drm\_display\_helper    253952  1 amdgpu
drm\_ttm\_helper         16384  2 amdgpu
ttm                   102400  2 amdgpu,drm\_ttm\_helper
drm\_kms\_helper        241664  3 drm\_display\_helper,amdgpu,drm\_ttm\_helper
drm                   757760  11 gpu\_sched,drm\_kms\_helper,drm\_exec,drm\_suballoc\_helper,drm\_display\_helper,drm\_buddy,amdgpu,drm\_ttm\_helper,ttm,amdxcp
crc16                  12288  2 amdgpu,ext4
video                  81920  1 amdgpu

我基本上没用过 drm，一方面没有图形桌面，另一方面没硬转码过视频，而且同样的机器之前装的操作系统没有出现过这个问题。我看到飞牛有个 ttm ko，不知道是不是这个 ko 触发了某种系统中的 bug。