推特 阿里云技术文档正文

工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版

admin 阿里云技术文档 2020-02-11 243 0
阿里云服务器优惠

工作流

工作流可以对作业进行组织编排、设定运行依赖关系,进行定时、周期性调度,并设置失败报警。
入口:https://hbase.console.aliyun.com/hbase/cn-shanghai/workspace/workflow

比如下面这个4节点的菱形工作流。
当工作流运行时,依赖调度运行顺序基本是:

  • a开始
  • a结束
  • b, c同时开始
  • d需要等待b, c结束
  • b结束
  • c结束
  • d开始
  • d结束

工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版 阿里云技术文档 第1张

新建工作流

先创建一个空的工作流,选择好要运行的集群。
工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版 阿里云技术文档 第2张

工作流编排

增加作业节点

鼠标点击拖拽一个SparkJob控件到编排区域,会自动弹出节点配置。后续也可以通过单击节点来更新配置。
然后关联作业,点击确定。
工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版 阿里云技术文档 第3张

连线编排

作业节点新建配置好之后,开始连线编排。从START节点开始,根据作业依赖进行连线,最后以END节点结束。
工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版 阿里云技术文档 第4张

调度设置

工作流可以直接运行,也可以设置周期性定时调度。

运行

直接运行时,默认立即执行,也可以设置运行开始时间。
工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版 阿里云技术文档 第5张

调度设置

调度设置的参数和特性说明如下:

  • 开始时间-结束时间:调度的有效时间范围。不能超过1年。开始时间不得早于当前时间。
  • 调度周期:最短时间间隔为30分钟。

调度例子:
开始时间:2019-02-01 00:10:00
结束时间:2019-02-28 00:00:00
调度周期:30分钟
任务运行时间点:00:10:00,00:40:00,01:10:00,01:40:00,02:10:00,…..

注意:由于是fixed-rate类型,所以就算上一个任务运行时间较长甚至还没跑完,新的工作流也会严格按照时间点启动。

工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版 阿里云技术文档 第6张

告警设置

打开告警设置后,工作流运行失败的话,会向“告警联系方式”设置的对象发送失败报警信息。报警信息包括失败的工作流名称、id,失败作业列表的基本信息。
工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版 阿里云技术文档 第7张工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版 阿里云技术文档 第8张

运行记录

点击“运行记录”,可以查看该工作流的所有运行实例情况,点击“详情”可以查看详情的运行情况。
工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版 阿里云技术文档 第9张

工作流运行详情

从工作流详情的“图形化展示”页面可以直观看到作业的调度运行情况。如上所述,a运行完成后,b和c可以同时启动。
工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版 阿里云技术文档 第10张工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版 阿里云技术文档 第11张

暂停、恢复、停止、重跑

在工作流运行过程中可以暂停工作流,然后可以恢复。也可以直接停止工作流运行。
暂停和停止的区别是:暂停会等待正在运行的作业跑完再暂停,而停止是强行停止所有作业并停止工作流。
如果工作流运行中出现个别作业失败,可以通过重跑工作流-只重试失败节点来尝试恢复工作流的运行。
工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版 阿里云技术文档 第12张工作流_数据工作台_X-Pack Spark计算服务_云数据库 HBase 版 阿里云技术文档 第13张

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

评论

-----