开启左侧

超低读写速度|跑不满|Raid6模式下添加磁盘或者恢复时候pcie带宽没跑满,外部速度低

发表于:2025-2-9 12:24:27 远程访问 161

<br /> <br />

设备环境:ESXI 6.7安装fnos虚拟机,直通SAS3008,挂载7块ssd组raid6如下图

image.png

BUG现象:存储空间阵列添加磁盘或者修复阵列期间,pcie总线带宽没满,外部访问速度低

我之前是6块ssd组的raid6阵列,然后昨天添加一块ssd的时候,发现上传到nas或者从nas读的速度异常的慢,当时磁盘监控平均每个盘读写都在80M左右,总共整体基本500的读和500的写,当时缺少截图。

因为我是使用的sas3008直通卡,我为了排除硬件原因,又拉一台win11虚拟机,直通sas控制器,然后在里面对6块盘同时读写,速度如下

image.png

6块盘的总带宽使用基本能达到500M*6也就是3G,而在fnnos里面最多只能1G总带宽

因为测过写入,重新回到nas里面有两块盘需要恢复,也正好能让我截图展示类似的问题,如下图就是恢复期间我从nas往局域网里面复制数据的速度,可见完全不能用

image.png

另外还有一点也是很奇怪,虽然我是千兆网卡,但是从nas里面复制数据能有110M/s的速度,而上传就只能86M/s,我准备换了2.5G网卡再试,但是我始终觉得速度上面肯定有点不对劲

image.png

image.png

出现频率:必现

综上所述,感觉fnnos里面的磁盘阵列总带宽只有1GB/s左右,这个数据跟sata3.0的接口带宽很接近,难道raid6是把所有的磁盘模拟成一个sata3.0的盘?那也太不至于了吧

联系方式:18583790517




pcie总线走的是2.0,(主板插槽是3.0x8的,为何降速不明),但即便如此,x8也应该有4G/s的速度,上面速度远没达到。

image.png

写入速度总共最大只能达到500M/s,此时发现有个mdadm的进程cpu占用100%,也就是猜测这个raid写入的瓶颈在于只能使用一个核心的资源,无法使用多核增加写入速度,希望开发组能解决。

收藏
送赞 1
分享

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x

发表回复

评论列表(5)

https://club.fnnas.com/forum.php ... 1297&highlight= 这个问题可以具体参考一下这条帖子的评论区铁人老师的说明
2025-2-14 10:46:30 回复
嗯,但是其实有点不太一样,那边经过了网络传输,我这边内部dd的速度也才500。  详情 回复
2025-2-14 13:49
嗯,但是其实有点不太一样,那边经过了网络传输,我这边内部dd的速度也才500。
2025-2-14 13:49:26 回复
小驰哥 发表于 2025-2-14 13:49
嗯,但是其实有点不太一样,那边经过了网络传输,我这边内部dd的速度也才500。 ...

mdadm,这个我们没有改动过过 就用的官方的mdadm程序,具体我转给技术同学看看后面是否有优化的可能
2025-2-14 16:26:39 回复
[md]我今天把存储空间删了重建,试了raid0,raid5,raid10 ,其中raid0和raid10多线程写入整体能达到3-4G/s的写入,raid5跟raid6差不多,撑死就460M的写入,这时候raid5/6有个共性就是有个mdadm的进程cpu使用率100%,  详情 回复
2025-2-20 14:13
我经过测试发现整体的读写速度就是单盘的读写速度,因为我直通错误的时候,单盘读写分别300和200,然后进入fnos里面发现多个线程dd的速度总瓶颈也是300和200,然后我正确直通,单盘的读写都是500,然后多个线程dd的  详情 回复
2025-2-20 02:40
我经过测试发现整体的读写速度就是单盘的读写速度,因为我直通错误的时候,单盘读写分别300和200,然后进入fnos里面发现多个线程dd的速度总瓶颈也是300和200,然后我正确直通,单盘的读写都是500,然后多个线程dd的总速度也是500,就说明raid6下存储的读写速度和单盘一致了,这肯定不对吧
2025-2-20 02:40:30 回复

我今天把存储空间删了重建,试了raid0,raid5,raid10 ,其中raid0和raid10多线程写入整体能达到3-4G/s的写入,raid5跟raid6差不多,撑死就460M的写入,这时候raid5/6有个共性就是有个mdadm的进程cpu使用率100%,但是我给了16个核,整体利用率也就10%,死活速度上不去了,这两种raid模式目前完全没法用,关键换truenas用raidz,也就是类似raid5,单线程都能有2G/s的写入,fnnas里面需要4个以上的线程才有这速度,单线程写入也是撑死500MB,就好像被sata3.0带宽限制住的感觉,但是其实我是用的hba直通卡,单线程写入,raid0虽然多盘同时写,会让每个盘分摊到只有几十兆,总速度才500,这肯定是系统有问题啊,这么明显的速度瓶颈,难道就我遇到了?但凡有人用ssd组个阵列都能发现吧。

微信截图_20250220120130.png

微信截图_20250220115540.png

微信截图_20250220115052.png

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
2025-2-20 14:13:37 回复

作者推荐

话题