文件去重功能

文件去重

多次手动备份后，文件出现多个，希望能有文件去重功能，缩减存储空间。

个人想法文件去重上传

• 文件或文件夹使用客户端上传，上传前，在客户端对文件进行MD5值计算；

• 获取到文件的MD5值后，可以通过查询数据库或者查找MD5文件名方式，判断MD5值是否有重复：

  • 如果MD5值重复，则直接跳过文件上传，记录md5文件名称、软连接文件名称、软件引用数量，更新到数据库中

  • 如果MD5值未重复，使用使用MD5值作为文件名，存储到服务器/md5file路径，记录md5文件名称、软连接文件名称、软件引用数量，写入到数据库中

  • 当有多个软连接，引用同一个MD5文件，只增加引用数量不重复上传文件，同时增加md5文件引用数量，当引用数量为0时候，删除MD5命名的文件。

    前端仅显示软件链接，不显示md5文件

感谢你的分享~这个我们会传达给相关同事评估~

各种网盘秒传功能，就是这个原理吧

这个不了解了，大厂的逻辑应该更严谨，这只是个人的一点想法