rsync加局域网传输数据导致oom卡死重启

发表于:2025-1-1 14:47:41 其他 104

设备环境:

PVE上的虚拟机,2c8G i3 12300T 局域网,系统是0.8.29, 没给swap

系统盘16g固态

128g固态盘跑docker

4T 希捷 x2

16t 东芝 x1

image.png

BUG现象:

昨天准备把群晖迁移到飞牛,原有2块4t,新的硬盘是一块16t 东芝 mg08

直通所有硬盘给飞牛,通过ssh上飞牛挂载两台4t,通过tmux打开会话保持,通过rsync同步完一块4t(主要是bt下载的内容)

早上起来通过rsync另一块4t,这时发现16t使用率不满,就想着顺便把immich的docker整了

immich是在另一个lxc上跑的,通过nfs挂载了16t盘里的目录,然后通过手机开始重新上传照片(因为发现一个immich的问题,相册和手机上没有保持一致,怎么重来都不顶用,直接全部删除重装了)

然后开始整理qbtorrent,运行在飞牛的docker里,种子全部恢复成功

当开始有上传速度(玩PT)时,发现qb卡死了,然后发现飞牛web卡起来了,并且cpu使用率显示系统占用95%,用户才3%,并且磁盘跑满,以为是qb的原因,赶紧docker给它停了,但是依旧CPU跑满, 上pve一看,cpu跑满(webui图没了) image.png

这时shell保持着,通过htop发现有一个僵尸进程,但是已经开始卡死了,不太能动,在pve的控制台显示一堆的oom kill 日志,然后把networkmanager都给kill了,ssh也断开了,直到它自己重启了,过程中内存也跑满

image.png

image.png

出现频率:偶现

联系方式:17704010981

我感觉是btrfs的问题,是不是默认参数问题,各种队列太慢了把内存跑满了,但是我rsync过程中看到的内存使用就1.3g左右,其他都是buffer/cache

收藏
送赞
分享

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x

发表回复

评论列表(3)

xem 楼主
重启后看了眼webui的日志,没有错误
2025-1-1 14:50:37 回复
已收到反馈,我们测试复现一下 有可能是虚拟机安装原因的
2025-1-2 16:03:43 回复
xem
反复测试了下,怀疑是 immich 转码视频的问题,rsync会把cache跑满,然后immich 视频一转码就卡住了,但是如果没有rsync,转码就是ok的  详情 回复
2025-1-3 11:31
xem 楼主
反复测试了下,怀疑是 immich 转码视频的问题,rsync会把cache跑满,然后immich 视频一转码就卡住了,但是如果没有rsync,转码就是ok的
2025-1-3 11:31:30 回复

作者推荐

话题