摘要:该功能允许客户仅恢复大型对象中所需的特定字节范围,而不必重新激活整个文件,从而显著缩短检索时间。ActiveScale软件的其他更新还在从冷存储或磁带层读取小对象时实现了大幅性能提升,使恢复速度提高五倍以上。Quantum表示,通过这些更新,基于磁带的存档系统
Quantum公司为其ActiveScale磁带后端系统新增范围恢复功能,大幅提升了部分对象检索速度。
该功能允许客户仅恢复大型对象中所需的特定字节范围,而不必重新激活整个文件,从而显著缩短检索时间。ActiveScale软件的其他更新还在从冷存储或磁带层读取小对象时实现了大幅性能提升,使恢复速度提高五倍以上。Quantum表示,通过这些更新,基于磁带的存档系统现在可以作为响应式、查询就绪的数据湖运行,专为人工智能、分析和高性能计算工作负载而设计。
CEO Hugues Meyrath表示:"人工智能改变了存档数据的价值。组织需要经济实惠地存储大量数据,但又不能等待数小时或数天来检索用于训练管道和分析引擎的数据。通过这些新的ActiveScale增强功能,我们正在重新定义冷存储的含义,使大规模长期存档变得易于访问、智能化,并在艾字节规模上为人工智能做好准备。"
这确实是磁带对象检索速度的一大进步,尽管它还无法将磁带检索速度提升至磁盘水平。从ActiveScale的架构可以看出其工作原理。
ActiveScale是一个兼容S3的双层对象存储系统,前端采用SSD+磁盘组合用于温存储或活跃级存储,通过S3标准级API访问,后端配备磁带库用于冷数据存储,通过S3 Glacier级API调用访问。
元数据存储在NVMe SSD中以实现快速访问。对象经过擦除编码处理,持久性高达19个9(99.99999999999999999%),ActiveScale系统可以采用称为RAIL(独立库冗余阵列)的类似RAID的方式进行分组。
传入的S3标准级对象被写入磁盘或SSD,并分割成擦除编码的片段或分片。较小的传入对象会被组合在一起,然后对整个组进行分片处理,每个分片可能包含多个对象。ActiveScale元数据会跟踪这一过程。
将对象写入磁带需要将它们组合成更大的数据块,大小达到数百GB。这样可以实现大型流式写入,最大限度地减少磁带机器人加载和卸载磁带的工作量,同时减少磁带磨损。
如果策略指定冷存储,或使用S3 Glacier API将对象放入ActiveScale系统,那么系统不会将单个对象写入磁带,而是将它们的集合流式传输到磁带以提高磁带写入效率。
从磁盘或SSD恢复对象需要识别和读取分片,然后重建对象,除非是包含在单个分片中的小对象。
从磁带恢复对象意味着要定位并从磁带读取数据块,将其写入磁盘或SSD,然后从分片重建对象。这可能需要先从磁带库架上装载磁带,然后流式读取磁带以找到数据块。从磁带库恢复对象通常需要几分钟时间。
Quantum表示,传统的Amazon S3 Glacier操作需要完整的对象检索,通常一次要处理数百GB的数据。ActiveScale范围恢复功能"允许选择性恢复所需的数据段。这一功能显著减少了等待时间、计算周期和出口影响,使存档更加实用和高效。"
存储所需数据块的磁带可能位于库架上,需要机器人取出并装载到驱动器中。这个过程大约需要30到90秒,然后可能还需要几分钟的时间将磁带流式传输到数据块位置。在磁带上查找对象位置是耗时最长的环节。
Quantum表示,他们是目前唯一为基于磁带的冷存储提供这种定制S3 Glacier范围恢复扩展的供应商。
小对象恢复性能提升通过智能批处理和恢复请求排序实现,显著加快了人工智能训练等大容量检索工作流程。Quantum表示:"这一增强功能对人工智能模型训练、数据验证作业、合规查询和自动化管道驱动的恢复特别有影响。"
Quantum首席产品官Geoff Barrall说:"冷数据不再是离线数据。通过消除Glacier级存档的传统限制,ActiveScale将磁带转变为活跃资产——快速、API可访问,为大规模人工智能和分析做好准备。"
这些新的增强功能现已推出。
补充说明
据了解,在完整的LTO-9磁带末端查找对象或文件需要将磁带卷绕到正确位置,完整磁带大约需要8到10分钟。
Spectra Logic在其BlackPearl基于磁盘的深度存储网关到Spectra磁带库中也具有部分对象恢复功能,允许用户请求对象的一部分而不是整个对象。
Q&A
Q1:ActiveScale范围恢复功能是什么?有什么优势?
A:ActiveScale范围恢复功能允许客户仅恢复大型对象中所需的特定字节范围,而不必重新激活整个文件,显著缩短检索时间。这一功能减少了等待时间、计算周期和出口影响,使存档更加实用和高效,特别适用于人工智能训练等高容量检索工作流程。
Q2:ActiveScale存储系统的架构是怎样的?
A:ActiveScale是兼容S3的双层对象存储系统,前端采用SSD+磁盘组合用于温存储,通过S3标准级API访问;后端配备磁带库用于冷数据存储,通过S3 Glacier级API访问。元数据存储在NVMe SSD中实现快速访问,对象经过擦除编码处理,持久性高达19个9。
Q3:从磁带恢复对象需要多长时间?
A:从磁带恢复对象通常需要几分钟时间。这个过程包括机器人取出并装载磁带到驱动器(约30到90秒),然后流式读取磁带找到数据块位置。如果对象位于完整LTO-9磁带末端,卷绕到正确位置大约需要8到10分钟。在磁带上查找对象位置是最耗时的环节。
来源:至顶网
