前提条件

1. 购买BDS数据迁移同步服务，配置BDS操作页面账户密码，并登陆BDS操作页面
2. 打通BDS和HBase迁移集群的网络
3. 添加HBase集群数据源

版本

1. 自建HBase1.x、2.x
2. EMR HBase
3. 标准版云HBase、增强版云HBase (单机版本、集群版本)
4. 云HBase Phoenix

任务创建

1. 登陆BDS操作页面，任务管理->RDS实时数据订阅
2. 选择对应的DTS订阅通道和HBase(Phoenix)集群，指定需要同步表的mapping

参数说明

HBase表映射

{
  "mapping": [
    {
      "columns": [
        {
          "name": "cf1:hhh",
          "value": "{{ concat(title, id) }}"
        },
        {
          "name": "cf1:title",
          "value": "title"
        },
        {
          "name": "cf1:*"
        }
      ],
      "config": {
        "skipDelete": true
      },
      "rowkey": {
        "value": "{{ concat('idg', id) }}"
      },
      "srcTableName": "hhh_test.test",
      "targetTableName": "default:_test"
    }
  ]
}

• 支持简单的表达式，如下

{
  "name": "cf1:hhh",
  "value": "{{ concat(title, id) }}"
}

• 支持动态列，没有匹配到的列会走默认的匹配

{
    "name": "cf1:*",
}

• 支持指定订阅的起始时间(DTS订阅通道中包含指定时间戳以后的数据)

{
  "config": {
      "startOffset":1569463200 // 秒
  },
  "mapping": [
      "srcTableName": "hhh_test.test",
      "targetTableName": "default:test",
      "columns": [
        {
          "name": "cf1:*"
        }
      ],
      "config": {
        "skipDelete": true
      },
      "rowkey": {
        "value": "{{ concat('idg', id) }}"
      }
    }
  ]
}

• DML支持情况

Phoenix表映射

{
  "mapping": [
    {
      "srcTableName": "hhh_test.phoenix_test",
      "targetTableName": "phoenix_test",
      "config": {
        "skipDelete": true
      },
      "columns": [
        {
          "name": "id",
          "isPk": true
        },
        {
          "name": "title",
          "value": "title"
        },
        {
          "name": "ts",
          "value": "ts"
        },
        {
          "name": "datetime",
          "value": "datetime"
        }
      ]
    }
  ]
}