收起左侧

关于转存数据时调用内存实现临时存储,无ssd缓存方案

1
回复
821
查看
[ 复制链接 ]

2

主题

0

回帖

0

牛值

江湖小虾

2024-9-28 15:48:26 显示全部楼层 阅读模式
# 背景
不知道这个方案是否可以实现。


当网络传输能力>磁盘写入能力时,我们的存储能力会受限于木板效应取最小值。比如2.5G的网络(典型值为312.5MB/S)写入一个sata机械盘(典型写入为128MB/s)时,网络无法发挥最大的效率。
# 解决方案
将文件放入内存实现缓存,并计算md5值做为整体文件的摘要,防止文件损失,并对未完全写入的文件进行标记(防止未完全写入时断 电的文件丢失)。md5值还可以做为文件去重的依据。

收藏
送赞 1
分享

6

主题

6138

回帖

0

牛值

管理员

2024-10-22 19:57:03 显示全部楼层
我们需求我们技术评估一下  感谢反馈
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则