Hive 读写 HBase 指南
云 HBase 支持使用 Hive 读写里面的数据,配置起来也很简单。
环境准备
- 将 Hive 所在的 Hadoop 集群所有的节点的IP加入到云HBase白名单;
- 获取云HBase的zookeeper访问地址,可在云HBase控制台查看。
修改配置
- 进入hive配置目录
/etc/ecm/hive-conf/
- 修改
hbase-site.xml
,将hbase.zookeeper.quorum
修改为云HBase的zookeeper访问连接,如下:<property>
<name>hbase.zookeeper.quorum</name>
<value>hb-xxx-001.hbase.rds.aliyuncs.com,hb-xxx-002.hbase.rds.aliyuncs.com,hb-xxx-003.hbase.rds.aliyuncs.com</value>
</property>
在Hive中读写HBase表
如果HBase表不存在,可在Hive中直接创建云HBase关联表
- 进入hive cli命令行
- 创建HBase表
CREATE TABLE hive_hbase_table(key int, value string)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
TBLPROPERTIES ("hbase.table.name" = "hive_hbase_table", "hbase.mapred.output.outputtable" = "hive_hbase_table");
- Hive中向hbase插入数据
insert into hive_hbase_table values(212,'bab');
- 查看云HBase表,hbase表已创建,数据也已写入
在HBase中写入数据,并在Hive中查看
在Hive中查看:
Hive删除表,HBase表也删除
查看hbase表,报错不存在表
如果HBase表已存在,可在Hive中HBase外表进行关联,外部表在删除时不影响HBase已创建表
- 云hbase中创建hbase表,并put测试数据
- Hive中创建HBase外部关联表,并查看数据
删除Hive表不影响HBase已存在表
Hive更多操作HBase步骤,可参考https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration
如果使用ECS自建mr集群的 Hive时,操作步骤跟EMR操作类似,需要注意的是自建Hive的hbase-site.xml部分配置项可能与云HBase不一致,简单来说网络和端口开放后,只保留hbase.zookeeper.quorum
即可与云Hbase进行关联。
版权声明
本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。
评论