摘要：在很多人的NAS里，都有保存大量的文件资料，有些是来源PC电脑的备份，有些是来源手机备份，有些是来源网盘备份，有些则是手动上传。

大家好，这里是Cherry，喜爱折腾、玩数码，热衷于分享数码玩耍经验~

前言

在很多人的NAS里，都有保存大量的文件资料，有些是来源PC电脑的备份，有些是来源手机备份，有些是来源网盘备份，有些则是手动上传。

这些文件或相同、或不同，反正大多数NAS用户都不会去整理，而是让它们就这样静静的躺在那儿，占用着昂贵的硬盘空间。

其实不仅是重复问题，还有管理不到位导致的文件多版本也很让人头痛，要找一个文件就需要从X.doc，X(1).doc，X(2).doc，X(3).doc，X(4).doc里找到谁是爸爸，谁是儿子。

下面，我们通过两种方法，来解决NAS里海量文件的重复问题，第一种是所有NAS通用的windows侧操作，第二种是铁威马特有的Deduplication Manager去重工具！

一、通过挂载到Windows去重

1、通过文件服务挂载

对NAS来说，比较通用的方法就是通过SMB/WedDav等方法，将文件夹挂载到windows侧，然后通过windows侧的各种去重软件进行去重。

🔻SMB服务

最常用的挂载方法，windows下在文件管理器输入//ip就可以实现挂载，macos下输入smb://ip来实现挂载。如果NAS使用双网络，可以使用聚合SMB挂载，突破单根网线速率。

🔻WebDav服务

WebDav是一种基于Web的分布式编写和版本控制的超文本传输协议 （HTTP）的扩展，核心是HTTP协议，主要在互联网端提供网络传输服务。PC电脑一般需要通过webdav客户端访问到nas服务上，windows下常用的是Raidrive这个软件，有免费版。

铁威马目前支持SMB\FTP\NFS\WebDav\Rsync等文件服务。

Webdav的话，推荐使用RaiDrive这款支持免费使用的软件挂载，操作方便快捷。

2、使用CZKAWKA去重

在Window侧，比较常用的去重软件有Czkawka、Dupeguru、Krokiet等，我习惯使用的是Czkawka，支持各种类型的文件筛选去重，及硬链接功能。

铁威马的SMB速度很快，机械盘在2.5Gbps网口加持下基本能跑满260Mb/s的读写速度，所有对数千张照片进行复杂算法也不会很慢。

等扫描完毕以后，我们可以根据文件时间、大小、尺寸进行手动或自动去重；也支持通过软链接/硬链接等方式，在保持文件结构不变的情况下减少硬盘占用。

二、更稳妥的官方去重软件

除了挂载到windows外，我们也可以通过NAS自带的去重软件进行操作。比如铁威马就提供了一套简单易用的可视化去重方案——Deduplication Manager。

Deduplication Manager支持以存储卷为单位进行去重，会对同一个卷下的所有文件夹进行对比。

在扫描规则上，除了配置删除空文件、限制检查文件大小外，还支持三种不同的文件校验方法。其中md5最快、最笼统；sha1居中；sha256最慢、最准确。

🔻三种校验算法的原理和适用场景：

⭐ MD5：128位哈希值生成快，但存在碰撞漏洞（不同文件可能生成相同结果），适合非关键场景（如临时文件对比、简单去重），效率优先时可选。

⭐ SHA1：160位哈希值，曾广泛用于软件/文件校验（如Git版本追踪），已被证明存在碰撞风险，现多用于兼容旧系统或对安全性要求不高的重复文件筛查。

⭐ SHA256：256位哈希抗碰撞性极强，几乎可视为唯一文件指纹，资源消耗较高但可靠性最佳，适用于高精度文件比对（如数据库去重、科研数据校验），确保“同一文件”判定无争议。

任务完成以后，扫描结果会展示去重文件数、节省空间数据，方便用户理解去重的成果。

对于扫描结果，也支持自动去重和手动去重，一般来说手动自由度会更高一点。可以针对性的选择单独的文件删除。

总结

根据上述两种方案，我们就可以对NAS里各式各样的重复文件就可以say goodbye了。而且不仅仅于文件，其它如视频、图片、其它格式文件等资料也可以进行校验去重。

值得一提的是，如果使用硬链接保留了文件结构的，我们在NAS里看到的磁盘空间是不会减少的，大家不用担心去重失败。

具体的，可以使用ls -il来查看列表里的文件id，如果有两个文件id是一样的，那就说明他们互为硬链接哦~~

来源：可爱的小cherry