HBase备份恢复-使用手册
基本介绍
基于BDS的数据迁移把HFIle、HLOG备份到OSS。
产品功能及优势
- 实时增量同步,RPO小于30s
- 默认全库备份,支持对单表进行恢复
- 指定时间点恢复
- 对用户集群存储空间影响小
无需打SNAPSHOT,自动探测HFile变化;云HBase开通Exporter服务后,Log在备份后即可删除,对用户集群存储空间影响小。
使用场景
- 对云HBase增强版、标准版进行备份恢复
- 对ECS自建HBase集群进行备份恢复
- 对IDC、其他云HBase进行备份恢复
使用限制
- 仅支持HBase1.x、HBase2.x 及 HBase增强版。
- 不支持对SOLR数据进行备份恢复。
基本操作
购买、开通bds冷存储
在新购bds实例的时直接选择开通冷存储,入下图所示:
网络打通&数据源注册
自建实例
BDS实例需要和HBase实例在一个VPC下。其他特殊环境请联系@云hbase答疑
网络打通可以参考,高可用-同城主备 -自建实例网络打通节, https://help.aliyun.com/document_detail/140940.html
数据源注册,参考hbase数据源-自建实例章节:https://help.aliyun.com/document_detail/141064.html
云hbase
- 标准版网络打通&数据源注册,参考:https://help.aliyun.com/document_detail/141064.html
- 增强版网络打通&数据源注册,参考:https://help.aliyun.com/document_detail/141075.html
创建备份计划
- 进入备份恢复页面,选择”创建备份计划”
创建备份计划页面
配置以下参数
- 备份集群
指定需要备份的集群 - 全量备份周期
多久触发一次全量备份, 默认7天
可选时间范围是3~10天,太小可能在一个周期内无法完成,太长的则会影响数据恢复时间。 - 首次全量备份时间
- 全量备份保留时间
全量备份保存多久,系统会至少保留一个成功的全量备份。 - 日志保留时间
增量备份保留多久,需要大于全量备份周期。创建成功后,从备份恢复计划列表页面进入备份计划页面。
- 备份集群
发起数据恢复
进入备份计划页面,然后发起恢复。
进入恢复数据页面
设置以下参数:
- 目的集群
恢复的目的集群 - 恢复时间
先选“可选时间范围”,典型的值是一个时间段+多个全量备份结束时间点。
然后选择具体恢复时间点。 - 通过Copy方式恢复数据
默认通过copy的方式把数据恢复到源集群,在Hbase增强版中支持原地拉起的方式直接访问备份的数据。 - 恢复表
可以选择恢复的表,支持表重命名。
比如default:test_table1/default:test_table2,意思是把default下namespace下的test_table1恢复到表test_table2.
发起恢复后可以进入恢复记录详情页面查看恢复进度。
恢复有3个过程:
- 表shema 恢复
带分区恢复表结构,表shema恢复后,业务可以恢复写入。 - 全量数据恢复 & 数据装载
把备份的hfile copy到目的集群,然后bulkLoad到目标表。
全量恢复完成后,业务可以恢复不一致读。 - 增量数据恢复
增量恢复是把备份的LOG,回放到目的集群。
增量恢复期间,业务可以恢复不一致读,待增量恢复结束后,恢复一致读。
调整备份、恢复速度
备份恢复任务并发在bds worker执行,默认单机3个hfile迁移线程,单线程限速10MB,可以释放调整来调整备份、恢复速度。
在BDS配置页面可以进行调整,备份、恢复期间会对目标或目的集群网络、IO产生压力,调整速度注意对集群的影响。
产品定价
收费项
计费项包括bds实例、冷存储,具体价格参考:
BDS定价及开通参考:https://help.aliyun.com/document_detail/120741.html?spm=a2c4g.11186623.6.615.70186f3bIb7BAW
冷存储价格参考:https://help.aliyun.com/document_detail/53532.html?spm=a2c4g.11186623.6.546.21651789q5iUL1
欠费说明
BDS实例在欠费后,会保留7天,期间会停止备份服务;如果不及时续费导致实例被释放,则bds关联的冷存储会被一并释放,备份数据会被清理掉。
FAQ
故障时最近可以恢复到哪个时间点?
正常不积压情况下,取决于持久hbase log到oss周期,默认是30M或30s刷新一次,最多丢30s数据。
多长时间可以恢复?
取决于数据量和带宽限制。
全量数据恢复速度: OSS最大带宽1.25GB/s, BDS单机100MB/s.
增量数据恢复速度: HBase目的集群单机30~40MB/s写入,BDS单机100MB/s。
支持单表恢复吗?
支持,如果有同名表还可以恢复到另外的表中。
支持备份恢复phoenix表吗?索引表和主表之间的一致性怎么保证?
部分支持,因为在宕机后,主表和索引表LOG可能进度不一致,直接回放可能导致索引表和主表进度不一致;可以只回放主表,结束后rebulid索引。具体请联系@云hbase答疑。
支持跨版本备份恢复吗?
不支持。
版权声明
本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。
评论