设备环境
物理机
V0.9.27
硬盘信息:
序号 |
型号 |
容量 |
用途 |
1 |
990 Evo Plus |
1TB |
系统分区、存储空间1 |
2 |
HC560 |
20TB |
存储空间2(Basic) |
3 |
HA340 |
10TB |
存储空间3(Raid 1) |
4 |
HA340 |
10TB |
存储空间4(Basic) |
5 |
HA340 |
10TB |
存储空间3(Raid 1) |
BUG现象
9月23日8:09起,2、4、5号磁盘无法休眠。
重启后仍复现
排查1
监控挂载点并无文件读写活动,但资源管理可见读取速度偶有数值
卸载存储空间4,4号盘仍无法休眠,资源管理仍偶有数值

删除存储空间4,4号盘可正常休眠,资源管理读取速度归0
因此并非文件层面的访问导致磁盘活动
排查2
3号与5号盘组成Raid 1,但3号盘能正常休眠
向存储空间3写入数据,3号盘能正常唤醒
说明是持续的读请求导致休眠问题,而读请求全部命中到未休眠的5号盘上
因此mdadm层面以下并无休眠问题,因此问题出在存储空间的lvm上
排查3
对存储空间2的md124进行块访问监控:
# sudo btrace /dev/md124
9,124 13 1 0.000000000 189759 Q R 0 + 256 [pvs]
9,124 0 1 8.600309216 0 C R 0 + 256 [0]
9,124 0 2 11.706839194 0 C R 0 + 256 [0]
9,124 13 2 11.705303336 189759 Q R 0 + 256 [pvs]
9,124 4 1 11.771596945 189926 Q R 0 + 256 [lvs]
9,124 0 3 11.771977066 0 C R 0 + 256 [0]
9,124 5 1 11.884032406 189926 Q R 0 + 256 [lvs]
9,124 0 4 11.885276698 0 C R 0 + 256 [0]
9,124 0 5 11.981892999 0 C R 0 + 256 [0]
9,124 10 1 11.981533977 189929 Q R 0 + 256 [pvs]
9,124 10 2 11.984238706 189929 Q R 0 + 256 [pvs]
9,124 0 6 11.984598257 0 C R 0 + 256 [0]
9,124 0 7 12.074427522 189930 Q R 0 + 256 [lvs]
9,124 0 8 12.074856447 0 C R 0 + 256 [0]
9,124 0 9 12.077073606 189930 Q R 0 + 256 [lvs]
9,124 0 10 12.077435044 0 C R 0 + 256 [0]
发现持续有pvs与lvs进程访问
使用execsnoop-bpfcc
监听进程,发现是由父进程2208不断创建
pvs 192941 2208 0 /usr/sbin/pvs --nolocking --reportformat -qy
lvs 192942 2208 0 /usr/sbin/lvs --nolocking --reportformat -qy
而父进程2208为:
# ps -ef | grep 2208 | grep -v grep
root 2208 1 0 12:07 ? 00:01:26 /usr/trim/bin/trim
出现频率
必现
联系方式
微信群:飞牛私有云 fnOS65,昵称同论坛
邮箱:compact-disk@live.com
QQ:627932524