创建及执行数据迁移任务
本文主要介绍如何创建及执行数据迁移任务,实现数据从数据源读取、加密、压缩后存入闪电立方设备中。
挂载闪电立方设备
在创建及执行数据迁移任务前,先将闪电立方设备挂载到您提供迁移的计算节点上。
以root用户登录计算节点。
查看闪电立方设备共享的文件夹。其中业务IP地址,请使用实际值替换。
showmount -e 业务IP地址
此处查看结果以/Pool-1/volume_1/cube为例。
创建挂载点。
mkdir /mnt/sdlf
将闪电立方设备挂载到计算节点。其中业务IP地址,请使用实际值替换。
mount 业务IP地址:/Pool-1/volume_1/cube /mnt/sdlf/
检查挂载结果。
df -h
若显示如下信息,则表示挂载成功。
创建及执行任务
启动闪电立方服务。
cd /InstallPackage/cube
./cube.sh
在闪电立方界面包括以下共 9 个操作选项,分别为:
- 1.start service:启动闪电立方服务
- 2.stop service:停止闪电立方服务
- 3.submit job:创建并提交任务
- 4.delete job:删除已创建的任务
- 5.re-try failed-job:重试失败任务
- 7.get job status:获取工作任务状态
- 8.get download report:获取报表
- 9.Reset password:重置密码
- 0.exit menu:退出闪电立方界面,回到系统界面
首次启动服务,输入 9,重置密码。
说明:密码长度至少为 10 位,且需要包含大小写、英文字母、数字及特殊符号。
输入 1 和密码,启动闪电立方服务。
下载数据到闪电立方。
- 输入 3,创建任务。
输入 1,并根据提示输入任务名称、数据源路径和目标路径等信息,确认提交任务。1:下载;2:上传。
说明:
- 上传阿里云OSS后,此任务名称将成为OSS Bucket下的默认目录名。
- 数据源路径和目标路径,要以/结尾(比如Source path: /data/10G_10000/),否则有数据丢失的风险。
提交任务后,输入 7,查看任务状态。
参数说明:
- JobName:任务名称
- JobState:任务状态。当任务状态为 Running 时说明该任务正在运行,任务状态为 Succeed 时说明该任务已完成数据传输,当任务失败时可输入 5 重新执行失败的任务。
- PendingTasks:即将执行的任务数
- DispatchedTasks:已发送任务数
- RunningTasks:正在执行的任务数
- SucceedTasks:已执行成功的任务数
- FailedTasks:失败任务数
- ScanFinished:扫描是否完成
(可选)任务完成后,输入 8,查看报表信息(文件数量和数据量)。
查看日志
在任务运行过程中,产生的所有运行状态等信息的日志都保存在../InstallPackage/cube/logs
路径下,如/opt/Cube/InstallPackage/cube/logs
。日志主要包括master.log
worker.log
和master.log
worker.log
。
查看master.log日志
通过查看此日志,可看到所有任务执行的总体情况,执行任务名,执行状态,总任务量,已经成功的执行任务数,失败的任务数,所有的文件是否都扫描完毕等信息。
查看worker.log日志
通过查看此日志,可以追溯具体任务的运行状态、具体任务id、大小以及具体任务文件。
版权声明
本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。
评论