摘要:vinchin: 分三种情况:第一种情况是虚拟机上运行的是采用NFS、CIFS、S3等协议的文件系统(如软NAS、Hadoop HDFS、MinIO对象存储等)时,无需代理即可完成文件系统的备份与恢复;第二种情况是虚拟机内部操作系统上的文件系统(如FAT、NT
在上一期直播问答中,我们为大家收集了一些「云祺智享课」评论区的观众提问进行回答,今天,直播问答第二弹来啦!
以下是我们对部分问题的详细解答——
国产化迁移
走在岸上的鱼10:文件系统备份和恢复,虚拟机内部要安装代理吗?
vinchin: 分三种情况:第一种情况是虚拟机上运行的是采用NFS、CIFS、S3等协议的文件系统(如软NAS、Hadoop HDFS、MinIO对象存储等)时,无需代理即可完成文件系统的备份与恢复;第二种情况是虚拟机内部操作系统上的文件系统(如FAT、NTFS、ext4等),在不使用网络文件共享协议的情况下,则需要在虚拟机内部的操作系统上安装云祺代理,方能完成文件系统的备份与恢复;第三种情况是可以直接采用云祺虚拟机无代理备份与恢复功能,将虚拟机操作系统、文件系统等整机备份下来,恢复时可以整机恢复,也可进行单独的文件细粒度恢复。
墨|存储:迁移过程中会去重吗?
vinchin: 去重是云祺容灾备份系统提供的一项基础功能,在国产化迁移替代过程中,可根据实际的情况来确定是否开启去重功能。
快跑蘑菇0o:基于国产平台P2V是怎么实现的方式?需要代理吗
vinchin: P2V是基于云祺容灾备份系统提供的异机恢复能力实现的,本质上的原理是将物理机整机数据(含操作系统、软件、文件等)备份成功后,再将其整机恢复到虚拟机中。在P2V的过程中,需要用到代理来完成整机数据的备份和恢复。除了整机的P2V迁移外,云祺还能够给提供单独的数据卷迁移、文件迁移以及同类型数据库异机迁移、物理机迁移上云等跨设备恢复能力,帮助用户在保护数据的同时应对各类迁移需求。
容灾演练平台
一:容灾演练平台是外置的吗,还是备份系统内置的?
vinchin: 容灾演练平台是云祺容灾备份系统内置的一个功能,取名为“平台”是该功能可以为备份系统的其他功能提供额外的支持能力,应用在用户实际的灾备场景中时,有助于在提高灾备资源利用率的同时节约成本。例如在数据验证、业务容灾、演练等场景中,用户无需准备额外资源,依靠备份系统内置的容灾演练平台即可满足这三类场景的全部需求。
产品经理叫小张Q:现在的这个Windows是虚拟机吗?那如果我想将数据回切到我新的物理机或者修好的物理机咋处理呢?
vinchin: 是的,直播演示用到的Windows演示机是一台虚拟机。当投入生产的物理机出现问题时,备份系统会自动将该生产主机接管到容灾演练平台中,后续如需将数据回切至新的物理机或修好的物理机时,只需在容灾任务页面启动数据回切即可,回切过程中不影响业务正常运行。
产品经理叫小张:还有就是你的流程中的应用程序检测,这个是标准流程?还是可根据用户的应用DIY的?
vinchin: 在生产主机故障并自动将其接管到容灾演练平台的过程中,有一个关键点,那就是备份系统如何判断生产主机遭遇故障并启动接管,对于该问题,云祺提供了三种监测方式:①主机级心跳监测,判断生产主机是否正常运行;②应用级服务监测,判断主机上的应用是否正常运行;③自定义脚本监测,通过自定义监测脚本实现更加灵活的监测条件。目前云祺支持数据库应用程序监测标准流程,也可根据用户实际所用的应用进行DIY,例如编写IIS、Tomcat、ERP、OA等应用服务的自定义监测脚本。
对象存储备份
bison濮文俊:S3到备份系统,再到S3,如何实现加密和压缩的?
vinchin: 云祺容灾备份系统在添加对接S3对象存储时,支持以SSL证书认证的方式进行对接,在备份与恢复时数据传输本身就是加密的。另外在数据传输时可借助传输代理并采用云祺提供的数据加密传输方式。至于存储数据时进行压缩,只需在备份任务中开启压缩功能即可。
bison濮文俊:传输过程中不压缩不加密,存储数据时加密压缩是这样吗?
vinchin: 在备份与恢复时,无论是数据传输,还是数据的存储,都是支持配置加密。至于压缩分为源端压缩和目标端压缩,这两者云祺都是支持的,例如在备份数据库时,可以调用数据库的压缩能力,只传输经过数据库压缩后的数据,这样可以缩小备份窗口,提高备份的效率。在备份数据存储时,备份系统也可先将数据压缩后再进行存储,结合深度有效数据提取、去重、增量备份、永久增量备份等机制,可显著提高备份存储空间利用率,实现降本增效。
Tracy:小文件合并打包传输,也需要使用传输代理吗?
vinchin: 区分场景,例如在备份NAS、对象存储上的小文件时是无代理的备份方式,此时源端和备份系统是处于直连的情况,无需使用小文件合并打包即可实现高效的海量小文件备份。对于终端的海量文件备份,则需要在终端上安装代理,并充分利用多线程、小文件合并打包传输等机制实现高效的备份与恢复。在NAS和对象存储的文件备份与恢复,部分需求是需要考虑较高的安全性和效率的平衡,此时同样可以采用代理提高安全性和保持高效。
Hadoop备份
颦:备份的时候是备份一个副本的数据还是三个副本的数据?恢复的时候是将每个副本再写三份?
vinchin: Hadoop HDFS内部的多副本机制,是其为了避免节点故障后导致数据丢失的一个运行机制,对于Hadoop HDFS的备份与恢复,无论Hadoop HDFS内部配置的是多少个副本,备份时读的都是一份数据不会重复读取,至于到哪个副本或节点中读取,是Hadoop HDFS内部的调度机制负责。恢复时同理,备份系统只会写入一份数据,另外的副本由Hadoop HDFS自身去复制并发送到其他节点。
颦:如果恢复到源平台源路径,源平台的部分副本数据丢失,恢复的时候恢复成三副本,这时候不会出现数据不一致吗?
vinchin: 在备份和恢复中理论上不会出现数据不一致的情况。数据丢失分为多种情况,例如这样的情况:①文件A的部分数据丢失,但因Hadoop多副本特性,不影响使用,备份系统在恢复文件A时可以进行覆盖恢复,也就是将源文件先删除,再进行恢复,副本数据也可以补齐;②文件A部分数据丢失,该文件不可用了,如果该文件元数据未受损,参照①;③文件A部分数据丢失,该文件不可用,且元数据损坏,此时Hadoop识别不到该文件,备份系统也识别不到,恢复文件A时相当于恢复的是一个新文件。
智能运维
Jeek:支持海量小文件备份吗?备份速度怎么样?恢复粒度怎么样?
vinchin: 支持。备份速度和具体的环境有较强的关联性,不同环境下会有不同表现,目前我们的最佳测试数据是针对本地存储上多层级的1亿海量小文件,最快3小时完成一次完全备份。最小恢复粒度支持最单个文件的恢复。
朱劲松:如果验证失败了,后面的任务还会执行吗?
vinchin: 在任务编排中,如果上一个任务执行失败,后续的任务是否执行是配置编排任务时的一个参数。例如:当配置后一个阶段的执行条件是前一个阶段的任务全部成功,那么此时后续阶段中的任务则不会继续执行;当任务编排中不进行执行条件配置时,无论前一个阶段的任务是否成功,后续的任务都会继续执行。
颦:怎么做到多个任务的编排的是先创建备份任务,还是在编排里面创建备份任务?
vinchin: 先创建备份任务,然后再对任务进行编排。创建任务时,任务的时间策略则可以不进行配置,后续统一由任务编排进行管控。
朱劲松:如果有几百台虚拟机,我不是要添加几百次才能创建一个编排任务?
vinchin: 是的。但这个问题的前提是几百台虚拟机每一台都有不同的备份策略,且这几百台虚拟机都需要依次按顺序执行的情况下,才需要这些步骤。通常情况下,数据中心对于虚拟机的备份与恢复管理不会精细化到每一台虚拟机,通过云祺任务编排功能可以对虚拟机进行分类分级,针对类别与等级来进行批量备份,以此来降低配置工作量。
来源:云祺vinchin