<br />
<br />
设备环境:ESXI 6.7安装fnos虚拟机,直通SAS3008,挂载7块ssd组raid6如下图

BUG现象:存储空间阵列添加磁盘或者修复阵列期间,pcie总线带宽没满,外部访问速度低
我之前是6块ssd组的raid6阵列,然后昨天添加一块ssd的时候,发现上传到nas或者从nas读的速度异常的慢,当时磁盘监控平均每个盘读写都在80M左右,总共整体基本500的读和500的写,当时缺少截图。
因为我是使用的sas3008直通卡,我为了排除硬件原因,又拉一台win11虚拟机,直通sas控制器,然后在里面对6块盘同时读写,速度如下

6块盘的总带宽使用基本能达到500M*6也就是3G,而在fnnos里面最多只能1G总带宽
因为测过写入,重新回到nas里面有两块盘需要恢复,也正好能让我截图展示类似的问题,如下图就是恢复期间我从nas往局域网里面复制数据的速度,可见完全不能用

另外还有一点也是很奇怪,虽然我是千兆网卡,但是从nas里面复制数据能有110M/s的速度,而上传就只能86M/s,我准备换了2.5G网卡再试,但是我始终觉得速度上面肯定有点不对劲


出现频率:必现
综上所述,感觉fnnos里面的磁盘阵列总带宽只有1GB/s左右,这个数据跟sata3.0的接口带宽很接近,难道raid6是把所有的磁盘模拟成一个sata3.0的盘?那也太不至于了吧
联系方式:18583790517
pcie总线走的是2.0,(主板插槽是3.0x8的,为何降速不明),但即便如此,x8也应该有4G/s的速度,上面速度远没达到。

写入速度总共最大只能达到500M/s,此时发现有个mdadm的进程cpu占用100%,也就是猜测这个raid写入的瓶颈在于只能使用一个核心的资源,无法使用多核增加写入速度,希望开发组能解决。 |