文件去重功能

dragon0120

文件去重

多次手动备份后，文件出现多个，希望能有文件去重功能，缩减存储空间。

个人想法文件去重上传

• 文件或文件夹使用客户端上传，上传前，在客户端对文件进行MD5值计算；

• 获取到文件的MD5值后，可以通过查询数据库或者查找MD5文件名方式，判断MD5值是否有重复：

  • 如果MD5值重复，则直接跳过文件上传，记录md5文件名称、软连接文件名称、软件引用数量，更新到数据库中

  • 如果MD5值未重复，使用使用MD5值作为文件名，存储到服务器/md5file路径，记录md5文件名称、软连接文件名称、软件引用数量，写入到数据库中

  • 当有多个软连接，引用同一个MD5文件，只增加引用数量不重复上传文件，同时增加md5文件引用数量，当引用数量为0时候，删除MD5命名的文件。

    前端仅显示软件链接，不显示md5文件

飞牛产品同学

感谢你的分享~这个我们会传达给相关同事评估~

庖丁

各种网盘秒传功能，就是这个原理吧

dragon0120

这个不了解了，大厂的逻辑应该更严谨，这只是个人的一点想法

客户支撑

同意 建议添加文件去重功能。

paulqi

应该在去重基础上扩展下，列出哪个目录有重复文件，并且支持手动选择保留的文件，希望官方采纳。

你这个年纪

直接支持zfs文件系统就可以了

华南的网友

支持！看官方开发进度。