摘要：科技、人类传承都离不开信息存储。《存储技术概述》从存储技术的发展历程进行展开介绍，接着谈到存储发展的趋势，包括存储分布式化、存储介质闪存化、存储云化、存储智能化和存储多样化等，然后深入浅出地介绍存储介质、存储系统结构、网络化存储、接口与协议、存储器层次结构等知

《存储技术概述》导读：

科技、人类传承都离不开信息存储。《存储技术概述》从存储技术的发展历程进行展开介绍，接着谈到存储发展的趋势，包括存储分布式化、存储介质闪存化、存储云化、存储智能化和存储多样化等，然后深入浅出地介绍存储介质、存储系统结构、网络化存储、接口与协议、存储器层次结构等知识。——文/存储印象。

这是一个数据量爆炸的时代，不断增长的数据量引发了存储需求的激增，对存储系统设计提出了更高的要求，促使计算机存储技术快速发展。传统服务器承载的数据存储量越来越大，其内置存储空间通常已不能满足需求，于是需要为服务器搭建外置存储来扩展存储空间。

遍布于网络各个角落的数据信息如何保存？存储设备如何提高存储效率？如何设计才能存储更多的数据？在多个用户之间如何实现数据的共享？如何快速定位和访问保存的数据？诸如此类的与存储相关的问题给存储系统系统设计带来了很多思考与挑战。如今，网络存储已经成为大规模存储系统的基本体系结构。

下面针对网络存储，重点介绍一下主流网络存储架构形式与分布式存储。

网络存储架构的形式主要有3种，即直连式存储（DAS）、网络附加存储（NAS）、存储区域网络（SAN），如图5-1所示。

1. 直连式存储（DAS）

直连式存储又称直连附加存储，其英文全称为Direct Attached Storage，简称DAS。

直连式存储是将存储设备通过SCSI线缆或光纤通道等方式直接连接到服务器的一种存储技术，如图5-2所示。直连式存储对服务器的依赖性很强，需要依赖服务器主机的操作系统处理数据的IO读写和存储维护管理，数据备份和恢复会占用服务器主机资源，因为数据流需要回到服务器再到服务器连接着的备份存储空间中，为了不影响正常业务系统的运行，许多用户的日常数据备份经常在深夜或业务系统不繁忙的时候进行。当直连式存储的数据量变得越来越大时，数据备份和恢复所需的时间就越长，对服务器硬件的依赖性和影响也就越大。

直连式存储分为内置直连式存储和外置直连式存储两种，如图5-3所示。

图5-4所示给出了一种比较传统的典型DAS架构，其使用了多台服务器或多台计算机，存储结构相对简单，配置和管理也都比较容易，费用也比较低，每台服务器或每台计算机都单独拥有自己的直连存储磁盘，缺点是不利于存储容量的充分利用和服务器间的数据共享，不同的应用各有一套存储设备，没有集中管理解决方案，数据维护繁琐，因而该直连式存储不适合作为规模性企业级的存储解决方案。

直连式存储是比较常见的一种存储形式，大多应用在一些规模较小的企业中，其特点是配置简单，部署实施快速，成本较低，由于这些中小企业本身的数据量不大，没有必要采购价格昂贵的光纤交换机等设备，而是采用高密度的存储服务器或服务器后接JBOD（just a bunch of disks，简单磁盘捆绑）等形式来搭建一种相对简单的直连式存储，如图5-5所示。直连式存储的使用过程通常和使用本机硬盘并无太大差别，要求服务器提供有相应的外接SCSI接口即可，并且无需专业人员操作和维护，可以节省用户投资，对中小型企业具有一定的吸引力。但是，直连式存储的缺点也是比较明显的，例如数据备份操作复杂，存储资源得不到充分的利用，SCSI连接的带宽有限，服务器本身容易成为系统瓶颈，若服务器发生故障，则数据不可访问；对于存在多个服务器的系统来说，设备分散而不便维护与管理；无论存储阵列容量的扩展，还是从一台服务器扩展到多台服务器组成的群集，都需要停机来完成升级扩展，而且往往还受到原设备厂商的限制。

别小看停机，有些业务系统是不接受停机的，例如银行、电信、传媒等行业7×24小时服务的关键业务系统，对于这些关键业务系统，停机就意味着经济损失，因此要避免停机作业。

2. 网络附加存储（NAS）

网络附加存储的英文全称为Network Attached Storage，简称为NAS。产生网络附加存储的技术背景是：网络的飞速发展，数据量的激增，以及客户端的增多，这些情况对服务器的存储能力提出了更高的要求，同时对服务器的访问性能也提出了新的挑战， 促使了服务器和存储设备的分离。这样，便产生了一种连接到计算机网络的专门用于共享文件的高性能文件存储设备，它通过网络连接到计算机、服务器或其他设备，为用户提供一个以太网接口并使用TCP/IP协议进行通信，它以数据为中心，存储设备与服务器是彻底分离的，允许用户在网络上存取数据，网络附加存储（NAS）集中管理和处理网络上的所有数据，将负载从应用或企业服务器上卸载下来，释放带宽，减轻网络中其他服务器的负担。相比于传统的直连式存储（DAS）而言，网络附加存储（NAS）具有更好的灵活性和可扩展性，用户可以通过网络对存储设备进行远程访问和控制，例如在其中进行文件读写，因而网络附加存储（NAS）广泛应用于家庭、企业、教育机构、医疗机构等各种场合，实现共享和存储大量的数据和文档。

从广义上来说，将网络附加存储（NAS）定义为一种特殊的专用数据存储服务器更合适，因为网络附加存储（NAS）通常由硬件和软件两大部分组成，硬件主要包括NAS服务器（含处理器、内存、网络接口等）、存储设备（例如磁盘阵列、固态硬盘、磁带驱动器或可移动的存储介质）等，软件则主要为负责数据管理、安全保护、备份和恢复等操作的内嵌系统软件，使用网络协议和文件共享协议实现文件归档和存储等功能，主要涉及用于数据传输的TCP/IP网络协议和用于远程文件服务的网络文件系统协议NFS和CIFS。

网络附加存储（NAS）的典型组成实施例如图5-6所示，NAS系统通过协议（或规则）将硬件和软件有机结合，提供跨平台文件共享功能，硬件主要包括NAS服务器和存储设备。从用途特性来划分，又可以将网络附加存储（NAS）分为客户端、NAS服务器和存储设备3个主要部分。NAS服务器主要负责相应文件请求，它通过以太网接口与前端局域网建立连接关系，通过ATA、SATA或FC等存储设备接口与处于后端的存储设备建立互连关系，所述存储设备通常由高性能的专有RAID磁盘阵列组成，以实现网络附加存储（NAS）系统的数据保护和冗余。

NAS服务器与后端存储设备的连接方式包括集成式和分散式两种。集成式将NAS服务器和后端存储设备采用直接连接的方式集成为一个统一的整体，结构简单，管理容易；分散式通过光纤网络等方式将NAS服务器和后端存储设备连接，后端存储设备既可以被NAS服务器和其他服务器所共有，也可以由一个NAS服务器管理多个后端存储设备，结构较为复杂，相比集成式，分散式在管理方面要复杂得多，会牵扯到后端整个存储网络。

网络附加存储（NAS）设备的部署非常容易，支持即插即用，可以使NAS服务器（主机）、客户端和其他设备广泛分布在整个企业的网络环境中，无需改造即可用于混合UNIX/Windows NT局域网内，应用非常灵活。

网络附加存储（NAS）在软件组成上主要包括操作系统、文件协议和存储管理软件。

该操作系统主要负责管理NAS设备的硬件和软件资源，支持通过网络共享文件，它实际上相当于通用操作系统的缩减版或精简版——大致将通用操作系统的文件服务功能和相关文件通信协议保留下来，其他多余的功能统统去掉，因此该操作系统被形象地称为“瘦”操作系统，而NAS服务器也被称为“瘦”服务器或“瘦”型网络文件服务器。

NAS的文件协议目前主要有NFS和CIFS等。其中，NFS为网络文件系统（Network File System）的简称，它保留了Unix的文件格式特性，FreeBSD（一种Unix操作系统）和Linux等操作系统支持该文件系统，NFS允许网络中的计算机共享资源，如同访问本地文件一样。CIFS为通用Internet文件系统（Common Internet File System）的简称，是一个应用在NT/Windows环境下的比较实用的协议，由微软公司开发，它使程序可以访问远程internet计算机上的文件并要求此计算机提供服务，实现在Windows主机之间进行网络文件共享，在断线时可自动恢复与网络的连接。CIFS面向于网络连接的共享协议（常使用TCP/IP）的传输效率优于NFS，原因在于没用太多冗余信息传送。

总的来说，网络附加存储（NAS）数据存储具有以下几大优点：

1）部署NAS设备非常容易，其存储设备可以不受地域限制，既可以放置在工作组内、靠近数据中心的应用服务器，也可以放置在其他位置，无论身处何处，都可以通过物理连接和网络连接将它们互连起来，并能够很好地发挥作用。NAS特别适合于通过网络将文件数据传送到多台客户机的应用场合。

2）NAS是一种专业且安全的网络文件存储备份设备，不像U盘、移动硬盘等存储设备必须依赖接口协议和其他操作系统，NAS拥有一个“瘦”化的、可智能化的嵌入式操作系统，比一般服务器能连接更加多种类的操作系统，支持在网络上为各种客户端提供数据存取服务。NAS运行自己的专有操作系统，可供Windows、Unix、Linux、Mac等操作系统访问，不同的主机与客户端通过文件共享协议（如Unix中的NFS和Windows NT中的CIFS等）存取NAS上的资料，实现文件共享功能。

3）NAS独立于主服务器，不需要依靠任何其他主机设备，当其他设备停机时，NAS仍能正常访问。

4）NAS是专业的存储和文件服务器，使用优化过的专用操作系统，它剥离了其他非必要功能，更加专注于数据存储和网络共享，比传统服务器更加便宜和使用方便，而且响应速度快，数据传输速率较高，稳定性好，基本不会占用网络服务器的系统资源，无需在服务器上安装软件。

5）NAS设备是即插即用的，安装和使用方便，当在网络中增加或删除NAS设备时不会造成网络的中断；此外，NAS存储设备使用了RAID技术，让数据在多个硬盘间实现冗余备份，一旦某个硬盘遇到意外的硬件故障时，用户可以轻松恢复数据。

同时，NAS也具有一定的局限性或缺点。

首先，NAS使用网络进行数据备份和恢复，在备份过程中会消耗带宽，同时容易受网络上其他流量的影响，数据泄露等安全问题也需重视。在NAS设备与客户端在企业网内部连接的典型应用案例中，数据存储和数据备份过程都会占用网络的带宽，从而影响企业内部网络上的其他应用，当其他应用使用较为频繁时，容易对用户网络造成严重的堵塞现象，因而共用网络带宽成为限制NAS性能的主要问题，而NAS的备份机制需要根据企业网络使用情况进行必要优化。

其次，NAS的存储是以文件方式进行的，其访问需要经过文件系统格式转换，与普通文件系统一样直接访问物理数据块不同，在某些应用情况下会严重影响系统效率，因此NAS不适合数据块（Block）级的应用，例如要求使用裸设备的大型数据库不要使用NAS。

再者，NAS虽然具有较好的扩展性，但是这只是相对的，譬如增加一台新NAS设备很容易，但是要想将两个NAS设备的存储空间进行无缝合并就很不容易了。

NAS可用于创建家庭云存储、构建中小型FTP服务器、监控存储设备、数据备份/容灾、电子游戏库等。对于那些希望降低存储成本，但是又无法承受SAN昂贵成本支出的中小企业来说，选择NAS设备是比较具有性价比的一种实用方案。NAS可以作为大型集中备存储系统的有益补充，例如在公司的一些关键部门，如人事部、设计部、财务部等独自布置一台或多台NAS作为部门内部的数据备份设备，便于部门内文件共享、交换与分发，还能提高数据的安全性，内部局域网使用时有助于降低部门秘密信息被泄露的风险，对实施办公自动化也有积极的意义。

3. 存储区域网络（SAN）

存储区域网络的英文全称为Storage Area Network，简称为SAN。

SAN是一种采用网状通道技术的高速专用网络，它利用高速架构（如光纤集线器、光纤路由器、光纤交换机等）连接服务器与若干个存储设备，是一个专用于数据存储的区域网络，很适合要求高吞吐量和低延迟的关键性业务之应用场合。

SAN发展历程并不算长，只有短短数十年的历史，但是目前技术已经很成熟，它广泛应用于企业级存储中，在企业存储中，需要解决一些技术难题或根源性限制问题，包括数据与应用系统紧密结合所产生的结构性限制，以及小型计算机系统接口（SCSI）标准的限制。

SAN实际上是一种可独立于TCP/IP网络之外的并且专门为存储而建立的专用网络，其扩展性较强，在SAN系统中增加一定的存储设备或增加几台使用存储设备的服务器都很方便。SAN的结构组件主要包括SAN服务器、SAN存储设备、SAN互连设备和SAN控制管理软件，如图5-7所示。其中，SAN服务器是提供SAN解决方案的“首脑”，它可以是多种服务器平台的混合体，如Windows NT、不同风格的UNIX等；SAN存储设备包括磁盘阵列、磁带机、磁带库、光盘机等，SAN解放了这些存储设备，使它们不依赖于特定的服务器总线，而是融入到网络中，存取速度快（目前一般的SAN能提供2Gbps~4Gbps的传输速率，高端SAN能提供更高的传输速率），SAN存储设备一般采用高端的RAID阵列，使SAN的性能在几种专业存储方案中出类拔萃；SAN互连设备的作用主要是通过光纤通道等技术实现SAN存储设备和SAN服务器组件的互连互通性；SAN控制管理软件管理着SAN服务器、SAN互连设备、SAN存储设备之间的接口及交互，可以通过可视化窗口在一个中心控制台进行诸多资源的集中监控与管理。SAN支持存储设备的集中化设计和服务器群集的应用，统一管理更加方便，投资费用更省。SAN架构十分适合现代企业资源规划和客户资源管理类的工作负载。

目前SAN已经发展出多种存储网络细分架构，比较典型的有FC-SAN、IP-SAN、IB-SAN等，前两种比较常见。

FC-SAN是最初诞生的存储区域网络结构，它以光纤为传输介质，将存储设备从传统的以太网中剥离出来，组成独立的存储区域网络，SAN服务器可以访问存储区域网格上的任何一个存储设备，而各存储设备、SAN交换机均可相互进行通信，如图所示，其优点是传输速度快，传输距离远，可靠性高。FC-SAN提供了一个高性能、高可靠性且具有较好经济性的存储解决方案，将SAN服务器、SAN存储设备、SAN互连设备和SAN控制管理软件等组网融合。

IP-SAN是一种结合SAN和IP网络的存储技术，它基于IP网络来实现数据块级别的存储，可以利用现成的有利网络架构、协议、标准、基础设备（如存储设备等）和管理工具，降低了数据存储系统配置、维护、管理等方面的复杂度，并且超越了地理距离的限制，打破了传统并行SCSI存储的距离限制，可支持企业数据的备份和容灾，以及数据中心的建立。但是，IP-SAN总体上实践较为复杂，用户选择的余地不多，需要一些专门的驱动设备和相关知识的指导，当IP网络不稳定时，IP存储比较明显地消耗系统资源。

FC-SAN与IP-SAN相比，前者在设备稳定性和可扩展性方面均具有一定的优势，但是在管理上较为复杂，成本也昂贵，不适合中小企业使用，而后者操作简单，价格低廉，可远距离实现数据的存取、镜像和迁移，对跨平台共享数据更友好、便捷。

SAN的存储协议、方案主要有以下几种。

FCP/iFCP是广泛应用的SAN或块协议，属于具有嵌入式SCSI命令的光纤通道传输协议，其部署量较多。iSCSI将SCSI命令封装在以太网帧内并使用IP以太网进行传输，部署量一般。FCoE与iSCSI类似，将FC帧封装到以太帧（以太网数据报）中，然后像iSCSI一样使用IP以太网传输数据，即允许LAN和SAN的业务流量在同一个以太网中传送。FC-NVMe是一种用于通过PCI Express（PCIe）总线访问闪存存储的接口协议，得益于闪存存储的性能优势使得部署量大增，与传统磁盘（传统硬盘）相比，全闪存存储可以提供更卓越的性能、更稳定的低延迟和更低的总成本。

总的来说，SAN具有以下主要优点：

1）解放了存储设备，使多个服务器可以共享同一个存储设备，并且与现有LAN连接简便，支持广泛使用的SCSI和IP协议，不受当前主流的基于SCSI存储结构的布局限制，广泛兼容以前各种SCSI存储设备，保护用户以前的存储投资，并且可扩展性好（服务器和存储设备分离，两者扩展可独立进行），允许企业根据实际情况，独立地增加存储设备或服务器。

2）具有高性能、高可用性。SAN框架结构实现了高速计算机与高速存储设备的高速互连互通，目前一般的FC-SAN可提供2Gb/s~4Gb/s的传输速率，新规格标准的传输速率更高，例如可达10Gb/s。由于SAN网络独立于数据网络，故其存取速度很快，再加上SAN一般采用高端的RAID阵列，更使SAN的性能达到一个很高的水准。在可用性方面，SAN框架结构允许任何服务器与任何存储设备/存储阵列建立连接关系，不管数据存放在何处的存储设备/存储阵列，用户通过服务器集群都可以直接存取到所需的数据；当一台服务器出现故障时，其他服务器可以快速地接管故障服务器的任务。

3）SAN可实现集中存储和管理工作，易用性好。在SAN中，将各种存储设备整合成一个统一的“存储池”，形成存储设备集群，数据可以共享给多个服务器以向用户提供服务，这样的集中式管理模式极大地优化了存储管理，使相关管理人员的工作量减少，并且也提高了存储设备的可靠性和可扩展性。

4）SAN系统可以高效地实现数据的集中备份。SAN在运行数据备份操作时，不用考虑其对网络总体性能的影响，即数据备份不占用LAN网络带宽。

5）SAN可以实现无服务器的数据备份，也可以将数据在SAN上进行后台传递，从而减少网络和服务器的负载，因此磁盘冗余、关键数据备份、远程镜像、远程集群、容灾恢复等众多防止数据丢失的数据保护技术实现起来比较容易，两个存储设备之间的数据迁移很方便。

由于SAN具有以上诸多优点，它主要用于存储量大的工作环境或领域，例如银行、ISP互联网服务提供商、医疗保障、科学计算、数据中心等。但是构建SAN集群环境的成本比较昂贵，尤其是光纤信道的成本非常昂贵，多少影响了SAN在更多领域的应用。随着用户业务量的增大，SAN会有广泛的应用前景。近年来，SAN技术同样取得了长足发展，实践成本也得到一定程度的下降。

传统的网络存储系统采用集中的存储服务器存放所有数据，随着科学技术的发展和互联网行业的飞速发展，人们对数据存储的需求变得愈来愈大，集中式存储在一些应用场合成为了数据中心系统的瓶颈，可靠性和安全性也会经常遇到问题，难以满足大规模存储应用的需求。

1. 分布式存储的概念

分布式存储是一种数据存储技术，它将数据通过网络分散存储到多个存储服务器/存储设备上，并将这些分散的存储资源构成一个虚拟的存储设备，实际上数据是分散地存储在企业的各个角落。采用分布式存储的好处主要体现在这些方面：可以使用多台服务器对存储负荷进行了分担，并利用位置服务器定位存储信息，这样既提高了系统的存储效率、可靠性和可用性，还提升了存储扩展性。这得益于分布式存储的结构框架和应用了一些关键技术，包括元数据管理、系统弹性扩展技术、存储层级的优化技术、针对应用和负载的存储优化技术等。上述的存储效率、可靠性和扩展性比较容易理解，而可用性可能会陌生一些，所谓的可用性是指当系统的一部分节点出现故障之后，系统的整体不影响客户端的读/写请求。在一个分布式存储系统里，通常需要多台服务器同时工作，其中个别服务器偶然出现故障是难免的，这就要求系统需要具有较好的可用性，倘若出现这样的情况，也不会对整个系统造成太大的影响。

用车拉货进行形象介绍可能更容易让人理解：可以将数据类比成各种货物，存储比喻成用卡车拉货，那么直连式存储就好比用普通卡车拉货。当存储需求增加时，便需要对卡车进行升级，使用更大型的卡车才能满足拉货效率的需求，换大型卡车表面上看是容易，成本增长慢，但是扩展能力比较有限，也难以满足更大容量存储的需求，尤其当业务量持续增长，单靠扩展单个货车存储量显然已经不能解决问题，于是换成火车拉货，货物装载到一节一节连接起来的车厢里，当货物存储量再增加时，则只根据存储需要来进行一节车厢一节车厢的添加，相对简单一些。分布式存储的本质就有点像火车拉货，其扩展性、拉货效率比直连式存储要强很多，而且火车的车厢也可以很方便地转移并连接到另一台火车上。

2. 分布式存储架构的组成

分布式存储架构的组成主要包括客户端（或应用端）、元数据服务器和数据服务器，其中元数据服务器是整个分布式存储系统的核心组件，示意图如图5-8所示。客户端（或应用端）和元数据服务器之间的交互是“信令交互”，客户端（或应用端）到数据服务器是“媒体交互”。例如，客户端需要从存储系统中读取某一个文件的信息，客户端会将相应的要求传送至元数据服务器，而元数据服务器查询后将指示传送至客户端，而客户端获取该指示后向相应的数据服务器发出指令（告诉用户端到哪台或哪几台数据服务器的相应地址读取数据），数据节点获得指令后便将相应的数据返回给客户端，从而客户端便读取到所需的信息了。

3. 分布式存储的存储方式

分布式存储的存储方式主要分为块存储、文件存储和对象存储。

01 块存储

块存储的应用特点是将裸磁盘空间整个映射给主机使用，在使用上和平常主机内置硬盘的方式并无二样，由主机操作系统里的文件系统进行管理。块存储使用的典型设备是磁盘阵列和硬盘。由于采用了RAID磁盘阵列等技术手段，可以对数据提供冗余保护；多块磁盘组合成一个大容量的逻辑盘使用，提升了容量，几块磁盘可以实现并行写入，读写效率高；将块存储以SAN架构组网，可提升传输速度和读写速率，但是通常需要为主机购买光纤通道卡和光纤交换机，组网成本高。

块存储的劣势在于主机之间的数据不易共享，也不利于不同操作系统主机间的数据共享。主机之间的数据不易共享的原因在于块存储裸盘映射给主机并格式化使用后，在形式上就相当于变成了主机的“本地盘”，在服务器不做集群的情况下，别的主机无法使用该主机的“本地盘”。

02 文件存储

文件存储的出现是为了克服块存储无法共享的问题。搭建FTP、NFS服务器等这些典型设备其实就是文件存储的应用范例，文件管理功能由相应的文件存储系统处理，整体造价低，一台机器加上普通以太网便可以组网，不需要专用的SAN网络，缺点是在以太网上传下载，传输速率慢，读写速率低，读写需要一台服务器里的存储设备来承担，比起磁盘阵列同时读写，速率自然就慢了很多。

文件存储通常通过“目录+文件名+偏移量”进行检索，文件间呈现目录层次结构。

03 对象存储

为了克服块存储与文件存储各自的缺点，并发挥两者各自的优点，便有了对象存储。比较常见的对象存储方案是在多台服务器内置大容量硬盘，安装对象存储软件，接着额外配置若干台安装有对象存储管理软件的服务器用于管理节点（通常构成元数据服务器），可以管理其他服务器对外提供读写访问功能。

对象存储存储特性是呈现扁平化特点的，没有层次，其通常采用“唯一对象ID+偏移量”进行检索，。

在同样的容量下，对象存储比文件存储提供更好的存储性能，还能如同文件存储一样提供很好的共享性。存储性能只是一方面，但是在实际使用时，对象存储更关注的是容量，有些时候，如果想要高性能，则可以采用块存储的方式来进行解决。为了保障数据的安全性，对象存储可以采用单机Raid也可以采用网络Raid集群等存储架构。在实际应用案例中，Google基于GFS的存储便是典型的对象存储。

在分布式存储里，块存储没有文件系统，它通过客户端直接将命令传递给存储的“块”来执行；文件存储和对象存储则不将存储底层的“块”直接提供出来，而是通过相应的文件系统，将所需存储内容通过“文件”或“对象”的方式提供出来。

来源：时尚潮流女