0

关于转存数据时调用内存实现临时存储,无ssd缓存方案

发表于:2024-9-28 15:48:26 功能建议 156
# 背景
不知道这个方案是否可以实现。


当网络传输能力>磁盘写入能力时,我们的存储能力会受限于木板效应取最小值。比如2.5G的网络(典型值为312.5MB/S)写入一个sata机械盘(典型写入为128MB/s)时,网络无法发挥最大的效率。
# 解决方案
将文件放入内存实现缓存,并计算md5值做为整体文件的摘要,防止文件损失,并对未完全写入的文件进行标记(防止未完全写入时断 电的文件丢失)。md5值还可以做为文件去重的依据。

收藏
送赞
分享

发表回复

评论列表(1)

我们需求我们技术评估一下  感谢反馈
2024-10-22 19:57:03 回复
流浪猫

TA还没有介绍自己~

4

主题

1537

回帖

1549

积分

管理员

积分
1549

作者推荐

话题