推特 阿里云技术文档正文

Hive 读写 HBase 指南_HBase 标准版_云数据库 HBase 版

admin 阿里云技术文档 2020-02-11 179 0
阿里云服务器优惠

Hive 读写 HBase 指南

云 HBase 支持使用 Hive 读写里面的数据,配置起来也很简单。

环境准备

  • 将 Hive 所在的 Hadoop 集群所有的节点的IP加入到云HBase白名单;
  • 获取云HBase的zookeeper访问地址,可在云HBase控制台查看。

修改配置

  • 进入hive配置目录 /etc/ecm/hive-conf/
  • 修改 hbase-site.xml,将 hbase.zookeeper.quorum 修改为云HBase的zookeeper访问连接,如下:
    1. <property>
    2. <name>hbase.zookeeper.quorum</name>
    3. <value>hb-xxx-001.hbase.rds.aliyuncs.com,hb-xxx-002.hbase.rds.aliyuncs.com,hb-xxx-003.hbase.rds.aliyuncs.com</value>
    4. </property>

在Hive中读写HBase表

如果HBase表不存在,可在Hive中直接创建云HBase关联表

  • 进入hive cli命令行Hive 读写 HBase 指南_HBase 标准版_云数据库 HBase 版 阿里云技术文档 第1张
  • 创建HBase表
    1. CREATE TABLE hive_hbase_table(key int, value string)
    2. STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    3. WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")
    4. TBLPROPERTIES ("hbase.table.name" = "hive_hbase_table", "hbase.mapred.output.outputtable" = "hive_hbase_table");
  • Hive中向hbase插入数据
    1. insert into hive_hbase_table values(212,'bab');
    Hive 读写 HBase 指南_HBase 标准版_云数据库 HBase 版 阿里云技术文档 第2张
  • 查看云HBase表,hbase表已创建,数据也已写入Hive 读写 HBase 指南_HBase 标准版_云数据库 HBase 版 阿里云技术文档 第3张Hive 读写 HBase 指南_HBase 标准版_云数据库 HBase 版 阿里云技术文档 第4张
  • 在HBase中写入数据,并在Hive中查看Hive 读写 HBase 指南_HBase 标准版_云数据库 HBase 版 阿里云技术文档 第5张

    在Hive中查看:

    Hive 读写 HBase 指南_HBase 标准版_云数据库 HBase 版 阿里云技术文档 第6张

  • Hive删除表,HBase表也删除

    Hive 读写 HBase 指南_HBase 标准版_云数据库 HBase 版 阿里云技术文档 第7张

    查看hbase表,报错不存在表Hive 读写 HBase 指南_HBase 标准版_云数据库 HBase 版 阿里云技术文档 第8张

如果HBase表已存在,可在Hive中HBase外表进行关联,外部表在删除时不影响HBase已创建表

  • 云hbase中创建hbase表,并put测试数据Hive 读写 HBase 指南_HBase 标准版_云数据库 HBase 版 阿里云技术文档 第9张
  • Hive中创建HBase外部关联表,并查看数据Hive 读写 HBase 指南_HBase 标准版_云数据库 HBase 版 阿里云技术文档 第10张
  • 删除Hive表不影响HBase已存在表

    Hive 读写 HBase 指南_HBase 标准版_云数据库 HBase 版 阿里云技术文档 第11张

    Hive 读写 HBase 指南_HBase 标准版_云数据库 HBase 版 阿里云技术文档 第12张

Hive更多操作HBase步骤,可参考https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration

如果使用ECS自建mr集群的 Hive时,操作步骤跟EMR操作类似,需要注意的是自建Hive的hbase-site.xml部分配置项可能与云HBase不一致,简单来说网络和端口开放后,只保留hbase.zookeeper.quorum即可与云Hbase进行关联。

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

评论

-----