配置同步任务中的数据来源和去向
本文介绍如何在DataWorks中配置数据来源和去向,完成数据同步。
操作步骤
进入DataWorks控制台,单击对应项目操作栏中的进入数据开发。
在数据开发下右键单击业务流程新建一个流程。
单击步骤2新建的业务流程下的数据集成 > 数据同步,新建数据同步节点。
双击步骤3中创建的节点,配置数据同步任务的数据来源(Reader)、数据去向(Writer)、字段映射、通道控制信息。
类别 参数 说明 数据来源 数据源 选择MySQL,系统将自动关联配置RDS for MySQL数据源时设置的数据源名称。 表 选择RDS for MySQL中的一张表进行数据同步。 数据过滤 同步数据的筛选条件,暂时不支持 limit
关键字过滤。SQL语法随着所选择的数据源不同而不同,详情请参见系统参数配置。
切分键 RDS for MySQL数据表中的主键为切分键。 数据去向 数据源 选择AnalyticDB for MySQL,系统将自动关联配置AnalyticDB for MySQL数据源时设置的数据源名称。 表 选择AnalyticDB for MySQL中的一张表,将RDS for MySQL中的表数据同步至该表中。 导入前准备语句 输入导入数据前执行的SQL脚本。 导入后完成语句 输入导入数据后执行的SQL脚本。 主键冲突 设置主键冲突时的数据处理方式。 注意:列与列之间进行字段映射时,字段类型需要与数据兼容。
参数 说明 同行映射 自动将同一行的数据设置映射关系。 自动排版 设置映射关系后,字段排序展示。 参数 说明 任务期望最大并发数 - 同步速率 设置同步速率可以保护读取端数据库,避免抽取速度过大,给读取端造成太大的压力。同步速率建议限流,请结合源库的配置,合理配置抽取速率。 错误记录数超过 当错误记录数超过设置条数后,同步任务自动结束。 任务资源组 - 单击保存和提交保存和提交节点,然后进行调度配置,详情请参见设置周期和依赖。
完成同步任务的调度配置后,先保存和提交节点,然后单击运行开始同步数据。
通过DMS连接AnalyticDB for MySQL,查看同步过来的RDS for MySQL数据。
成功将数据导入AnalyticDB for MySQL后,您就可以使用AnalyticDB for MySQL进行数据分析。
版权声明
本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。
评论