商业摄影师如何又快又安全的管理十七万张照片?

B站影视 电影资讯 2025-06-11 04:56 1

摘要:说实话,这么多照片的管理其实是相当耗费资源的,尤其是没有一个系统化的检索工具和储存工具的时候,你会发现要想稳定完善地保障照片的储存安全性与可访问性,是一个成本非常高的事情。

作为一个商业摄影师,虽然我才入行几年,但是目前的我已经攒了十几万张照片,并且还以每个月几千张的速度在增加。

说实话,这么多照片的管理其实是相当耗费资源的,尤其是没有一个系统化的检索工具和储存工具的时候,你会发现要想稳定完善地保障照片的储存安全性与可访问性,是一个成本非常高的事情。

我要管理的照片,准确来说,是17万张,包含了我这五年以来每次出去旅游的照片,我自己手机上的照片,我的相机拍的商单的照片等等。

我的其中一个文件夹的总文件大小大概是1.3TB,文件数是9万个文件,其中照片占了9成,视频占了2成。

我之前一直都是用威联通的NAS加3-2-1备份原则来保存这些文件的,冷备热备加异地容灾,但是从文件系统上来说,我还是觉得ZFS文件系统更好一点,不过从去年开始,威联通更新下放了ZFS文件系统,我手里这台老的TS464C2也能用上ZFS文件系统,所以我当时花了一个月的时间升级了一下底层的文件系统,让我的文件安全性更高。

本着造福大家的理念,我也来完整说一下我的管理方案和使用体验。我用的设备是威联通TS464C2,四盘位设计,支持双M.2固态硬盘,威联通自带的文件系统拿来储存文件,自带的HBS3文件备份套件执行3-2-1备份文件,qfile pro拿来备份照片,qumagie拿来专门看照片,基本上我如果想要在我的照片库里面找任意一张我想要找的照片,我所用的时间不会多于十分钟。

目前我主要用的工具就是:HBS3文件执行3-2-1备份逻辑。

首先说一下什么叫3-2-1备份策略。

3-2-1备份策略的含义

3份数据副本:在不同的存储介质上保存三份数据副本。

一份是原始数据,通常存储在NAS设备上。

另外两份是备份数据,存储在不同的存储介质上。

2种不同的存储介质:将数据备份到两种不同的存储介质上。

例如,一份备份可以存储在NAS设备上,另一份可以存储在外部硬盘、云存储或其他类型的存储设备上。

1份异地备份:至少有一份备份数据存储在异地(即与原始数据和另一份备份数据不同的地理位置)。

这样可以防止因火灾、洪水、盗窃等灾难性事件导致的数据丢失。

3-2-1备份策略基本可以保证你数据上的无忧,因为通过保存多份数据副本,确保即使一份数据丢失或损坏,仍然有其他副本可用。而用不同的存储介质可以减少因介质故障导致的数据丢失风险。最重要的异地备份可以防止因本地灾难性事件导致的数据丢失。

威联通自家的HBS3文件管理,应该说是目前所有NAS厂家把3-2-1备份法则应用最好的厂家,没有之一。

网络部分,威联通的NAS支持的是ipv6直接进行DDNS解析,目前主流的NAS品牌好像就威联通和群晖支持了,其余的都不太行,最新消息是华硕更新之后也支持了。

Quamgie是威联通的AI智能相册,支持人脸识别、元数据提取和很方便的数据检索服务,是一个非常强大的照片管理解决方案,虽然也是web应用,但是有手机端APP在,整体体验不错。

QuMagie网页端的管理体验是相当不错的。

首先是QuMagie的AI人脸识别分类,像我每次参加漫展给Coser拍的照片,我想要回溯一下都很困难,之前的我都是一张一张手动分类挑出来。但是我用了QuMagie之后,我就直接把我拍的五六十个GB的文件扔到TS464C2上,QuMagie自动后台分析识别分类,并且还生成头像缩略图,我就直接点缩略图就能看到这个Coser下面所有的照片了。

AI识别后,如果你觉得有的照片是相似的,比如同一个人的照片QuMagie给你分类成两类了,你还可以通过手动将相似照片的相册进行合并。

我看了一下,我相册里自动分类的人脸已经有三千多个人脸了,反正如果我人工纯手动分类的话,那我得干十年才能完全分类好。

除开人脸自动分类之外,QuMagie也给了事物自动分类,可以自动将照片归类到以人物、事物、标签、地点、活动等分类的相册。在事物相册中,AI 会根据事物的特点进行分类,比如:动物、建筑、娱乐活动等。

比如我在衣服这个分类下,可以继续子分类成上衣,短袖,西装,帽子,夹克衫什么的,如果我想给甲方找一下我之前拍的衣服的案例,我就直接在这个子分类里面找就行了。

或者说我想给甲方找一下我之前拍的电子产品,有关于笔记本电脑的部分,我就直接去电子设备-笔记本电脑目录下找就行了。

我进入笔记本电脑这个子目录之后,所有的照片都是以时间线的形式展现的,极大地降低了我回去找照片的负担。

又或者你可以直接去看QuMagie自动识别出来的标签。

如果你觉得QuMagie自动分类的事务标签你不太满意,那么你可以直接搜索你想要的关键词,QuMagie不仅提供了标签、人物、日期、等多项要素细致搜索,还支持人物照片搜搜。比如我搜我之前拍的关于飞机的照片,它就直接全部搜出来了。

当然,还有个相当实用的功能就是按地点分类,比如我经常全国各地,有时候我记得我在上海拍的照片,但是我不记得是在哪儿了,我就直接在这里面点上海这个地理位置去翻照片就行了,完全不用担心别的地理位置的照片过来干扰我。

比较好的一点是,QuMagie 几乎支持所有格式的照片缩略图查看,iPhone的Live Photo 都可以在 NAS 上直接播放,并且还能Qfile、Qsirch等套件联动使用。

简单说一下QuMagie的配置流程吧。

打开威联通的网页版后台,打开AppCenter,搜索QuMagie,直接点安装下载。

在【内容管理】点击编辑。

在QNAP AI Core 中可以查看导入照片【人脸识别】和【物品识别】完成的状态。

你设置好文件夹之后,QuMagie就会自动识别分析文件夹里面的照片,自动调用AI功能对人物、对象、相似照片等方面进行分类汇总。然后自动生成缩略图。

在重建索引或系统迁移时,在【备份/还原】中,可以备份相册的配置文件和还原之前相册的设置。性能分析

17万张照片,我敢全部都放在威联通TS464C2上,靠的就是威联通升级QuTS hero h5.2系统之后标配的ZFS文件系统,把之前商业用户才能用的高安全性ZFS文件系统下放到了普通用户的机器上。

我是把威联通TS464C2加装了32G的内存,踩着ZFS文件系统对硬件要求的底线更新升级了QuTS hero h5.2,保证数据的稳定性,以便于它作为我整个团队的数据交互中心。

可以说,ZFS是目前唯一一个靠谱的软RAID方案,相比较之下,LVM、Madam、BTRFS之类的RAID几乎是跟玩具一样。

ZFS的使用体验我就简单总结一些:

在线实时处理的区块层级 (Block-based) 数据重复删除机制 (Inline Data Deduplication),让数据在写入磁盘前就已经过删减演算,大幅节省存储空间占用;加上让大档变小档的数据压缩 (Inline Compression),以及先进的实时数据压实 (Inline Compaction) 技术,在数据重复性质高或大量小型数据存取的情境下,提升 SSD 空间使用率的效益尤其明显,不仅显著提升全快闪配置的写入效能,对 SSD 的耐用性与使用寿命也有帮助,让全快闪存储架构成本效益更高。

直接支持PB级别的储存池,可以实时建立近乎于无限数量的快照,以及基于LZ4的低延迟高IO的压缩性能,最重要的是ZFS 具备预防静态数据损毁 (Silent Data Corruption) 的自我修复能力 (Self-healing),可针对所有数据区块进行 Checksum 校验,并自动修复错误的区块。如因发现硬件 (例如:破损的传输线)、驱动程序、或 Metadata 出错而导致的静态数据损毁,下次读取此区块时,会因发现 Checksum 结果不一致而利用备份数据自动修复,确保数据完整而正确。

ZFS可以说是最适合我的高性价比文件系统了。

超强的容错能力:

ZFS文件系统提供了更强的容错能力,支持三重奇偶校验(RAID Z3),可提供3个冗余容错保护,以及Triple Mirror提供多达3个数据镜射保护,大幅提升数据保护的安全性层级。

高效的数据去重压缩算法:

ZFS文件系统具备实时重复数据删除和实时数据压缩功能,可以提升空间利用率,释放更多存储空间。

数据自我修复能力:

ZFS文件系统具备预防静态数据损毁的自我修复能力,可以针对所有数据区块进行Checksum校验,并自动修复错误的区块,确保数据完整而正确。

无限快照功能:

ZFS支持建立近乎无限数量的快照,实现缜密的多版本快照保护。快照数量高达65,536份,利用Copy-on-Write技术,拍摄快照近乎实时且不影响系统运作效能。

由于 ZFS 采用的 COW 机制,每次的更新 new 数据均不会破坏磁盘上已有的 old 数据。ZFS 可以根据需要保留old 数据。这是实现快照功能的基础,实际的快照功能实现是选择一个 TXG-num 作为快照点,将 old root 下拓扑的保存起来,不去释放被更新的数据块地址。当然实际的快照功能要复杂的多,这里不做赘述。

提升SSD寿命:

ZFS文件系统的在线实时处理的区块层级数据重复删除机制、数据压缩和数据压实技术,在数据重复性质高或大量小型数据存取的情境下,提升SSD空间使用率的效益尤其明显,显著提升全快闪配置的写入效能,对SSD的耐用性与使用寿命也有帮助。

zfs直接使用nvme固态硬盘做zpool效果:

如果是单个nvme作为vdev,和其它文件系统没什么太大区别——当然,zfs的快照、cow、可启用lz4压缩还是很有用的,如果你的内存足够大的话,开启去重可能会节约不少空间。如果是strip、raidz的vdev,持续读写当然会很牛叉——前提是你的主板能插很多个nvme盘。然而,大部分情况下你找不到让它发挥性能的场合——除了休眠以及休眠后唤醒这种block device和内存交换大量数据的场景。因为既然用了zfs,相信你不会再组一个另一个同规格的zpool或者阵列,而其它的任何设备,几乎都无法提供使得单个nvme满载的带宽——你读数据总要读取到某个地方,写数据总要从某个地方读取数据吧?所以可以说strip、raidz最大的用处就是把不同nvme上的空间组合起来使用——这个时候考虑到数据安全,strip自然是不推荐了。

支持PB级别的存储池:

ZFS直接支持PB级别的存储池,可以实时建立近乎无限数量的快照,以及基于LZ4的低延迟高IO的压缩性能。

大多数单机文件系统是物理设备强绑定的,一旦在某个物理设备上格式化文件系统之后,该文件系统的可用空间和物理设备大小息息相关。但是 ZFS 将实际的物理设备和文件系统进行隔离,文件系统是建立在存储池上,存储池上的文件系统共用存储池的物理空间,同时可以动态添加物理设备到存储池中,以增加存储池的可用空间。

ZFS可以提供接近无限的存储空间:将物理存储设备进行池化管理,文件系统建立在设备存储池上。当文件系统空间不够,可以将物理设备动态添加存储池中。存储池上的单个文件系统极限值:支持 2^{48} 个快照、支持 2^{48} 个文件、单个文件最大 16EB。

数据完整性验证:ZFS在存储过程中有数据完整性验证,能够自动修复错误区块,确保数据的完整性和正确性。

提升性能和安全性:QuTS hero h5.2增强了企业的IT效率和系统可靠性,提供了内核模式SMB Daemon加速技术,Security Center安全中心,支持最新版本的TCG-Ruby SED增强磁盘安全性等新功能。

ZFS的文件系统那么多优势,其实都是建立在高消耗的基础上的,而高消耗包含了内存消耗,硬盘消耗,CPU性能消耗等等,所以对于一部分硬件性能不够的用户来说,ZFS其实是有下面这些劣势的:

资源消耗大:

ZFS文件系统因其设计用于处理大量数据和实现高数据完整性,因此需要大量的系统资源,尤其是RAM。在配置不够的机器上跑ZFS可能会导致更严重的卡顿。

存储管理复杂性:ZFS提供了接近于商用环境的存储管理功能,但这也使得ZFS相比传统的文件系统和逻辑卷管理器更加复杂,不过好消息是威联通的威联通QuTS hero h5.2已经把这些问题都尽量简化了,操作逻辑跟之前的系统也没甚太大的出入。

对硬件要求较高:ZFS推荐配置是1TB硬盘搭配1GB内存作为缓存,对于内存没那么宽裕的NAS用户来说,如果要升级ZFS的话,首先买两条内存条给NAS加装内存才是最好的。不过好消息是威联通大部分型号的NAS都是能自己更换内存条。

我现在正在用的威联通QNAP TS-464C2标配的是一条8GB DDR4 3200 SO-DIMM内存条,因为设计有两个内存插槽,所以我可以自己买两条16G的内存条把它升级成32G的内存。

性能开销较大:ZFS的许多功能对于系统性能开销也比较大,尤其是在高并发读写和并发多文件写入方面,ZFS的性能表现相对较差。这个性能开销包含了CPU性能和内存性能,所以不要再问为什么NAS一定要买高性能的U了,ZFS文件系统来了谁都拦不住。

TS-464C2给的处理器为四核四线程的 N5095,在CPU性能上N5095略好些,算是踩着ZFS文件系统需求的底线在跑。

目前威联通支持自己下载QuTS hero h5.2系统之后手动更新,也可以等一段时间等推送。

威联通将高端QuTS Hero系统下放到家用级NAS上直接推动了家庭用户和小型办公场景中企业级功能的普及化。

像我这样的摄影师对数据管理和存储安全性要求特别高,QuTS Hero的下放可以让我能在家用NAS上获得类似企业级NAS的功能和性能,从而满足大文件管理、存储和安全备份等专业需求。

我手里的TS464C2被我加了内存,插了两根固态,升级了QuTS Hero系统之后,再联动我的QuMagie和HBS3备份服务,基本上让我的照片视频等资料有了相当高的安全性,并且极大地降低了我管理手头照片资料的门槛。

你如果准备升级威联通QuTS hero h5.2系统的话,我建议直接重新买一台新的机器直接装威联通QuTS hero h5.2,因为涉及到底层文件系统的升级会直接格式化你的旧机器,而且威联通QuTS hero h5.2ZFS文件系统因其设计用于处理大量数据和实现高数据完整性,因此需要大量的系统资源,尤其是RAM,至少要给个16G的内存(更推荐32GB),ZFS推荐配置是1TB硬盘搭配1GB内存作为缓存。

而ZFS的许多功能对于系统性能开销也比较大,尤其是在高并发读写和并发多文件写入方面,所以尽量买个处理器性能好一点的NAS型号。

所以其实我还是更建议有需要的人直接买TS-466C及以上的型号,我这个TS464C2几乎已经是底线了,跑QuMagie的时候我初次导入17万张照片,它跑了快三天才完全跑完分类。不过一次跑完之后,后续再增加照片的时候就不必耗费那么多时间了。

来源:生活小乐趣

相关推荐