推特 阿里云技术文档正文

数据导入简介_数据导入_图数据库GDB

admin 阿里云技术文档 2020-02-11 169 0
阿里云服务器优惠

数据导入简介

GDB支持从各种数据源导入数据,针对不同的数据格式和环境,提供以下三种导入服务,您可以结合自己的开发测试环境选择适合的方式导入数据。

1. 从阿里云OSS(CSV)导入数据

GDB服务端集成有数据导入模块,可以拉取用户提供的CSV格式的OSS数据文件,解析成图的点和边数据,再写入GDB实例,以下图例概述了主要过程:

数据导入简介_数据导入_图数据库GDB 阿里云技术文档 第1张

主要包含以下步骤:

  1. 将需要导入的数据转换成csv格式,点和边分开在不同的文件
  2. 复制点和边数据文件到阿里云对象存储(OSS)的bucket
  3. 创建对此bucket具有读取和列表访问权限的RAM角色。
  4. 通过发送HTTP请求到GDB数据库实例来启动GDB加载程序。
  5. GDB加载程序代入RAM角色从bucket中读取数据并加载到数据库实例。

以下各部分提供从OSS导入数据到GDB的说明。

2. 使用DataX导入数据到GDB

GDB也提供了DataX插件GdbWriter来导入数据,DataX支持从各种数据源读取数据,您只需要提供相应读取数据源的配置和插件GdbWriter的配置,再启动任务就可以将数据写入GDB,DataX导入简化流程入下图:

数据导入简介_数据导入_图数据库GDB 阿里云技术文档 第2张

导入插件主要支持下面特性:

  1. MySQL、ODPS等数据源到GDB的数据同步
  2. 源数据列到GDB的点/边字段映射,也支持多列拼接成GDB的一个字段
  3. 不同的写入模式,插入更新跳过

GdbWriterDataX开源项目的一部分,可以参考工程文档导入数据到GDB:

注意

DataX用于数据中转,请确保源数据端、DataX运行环境和GDB实例网络联通,最好能处在同一个VPC以保证较好的网络质量

3. 使用DataWorks数据集成同步数据到GDB

DataWorks是阿里云上的一站式大数据智能云研发平台,其中数据集成服务支持导出数据到GDB,您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。

DataWorks的GDB数据源底层由GdbWriter插件提供服务,配置参数与上节相同,也提供同等的写入能力,参考配置GDB数据源完成同步配置。

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

评论

-----