工作流
工作流可以对作业进行组织编排、设定运行依赖关系,进行定时、周期性调度,并设置失败报警。
入口:https://hbase.console.aliyun.com/hbase/cn-shanghai/workspace/workflow
比如下面这个4节点的菱形工作流。
当工作流运行时,依赖调度运行顺序基本是:
- a开始
- a结束
- b, c同时开始
- d需要等待b, c结束
- b结束
- c结束
- d开始
- d结束
新建工作流
先创建一个空的工作流,选择好要运行的集群。
工作流编排
增加作业节点
鼠标点击拖拽一个SparkJob控件到编排区域,会自动弹出节点配置。后续也可以通过单击节点来更新配置。
然后关联作业,点击确定。
连线编排
作业节点新建配置好之后,开始连线编排。从START节点开始,根据作业依赖进行连线,最后以END节点结束。
调度设置
工作流可以直接运行,也可以设置周期性定时调度。
运行
直接运行时,默认立即执行,也可以设置运行开始时间。
调度设置
调度设置的参数和特性说明如下:
- 开始时间-结束时间:调度的有效时间范围。不能超过1年。开始时间不得早于当前时间。
- 调度周期:最短时间间隔为30分钟。
调度例子:
开始时间:2019-02-01 00:10:00
结束时间:2019-02-28 00:00:00
调度周期:30分钟
任务运行时间点:00:10:00,00:40:00,01:10:00,01:40:00,02:10:00,…..
注意:由于是fixed-rate类型,所以就算上一个任务运行时间较长甚至还没跑完,新的工作流也会严格按照时间点启动。
告警设置
打开告警设置后,工作流运行失败的话,会向“告警联系方式”设置的对象发送失败报警信息。报警信息包括失败的工作流名称、id,失败作业列表的基本信息。
运行记录
点击“运行记录”,可以查看该工作流的所有运行实例情况,点击“详情”可以查看详情的运行情况。
工作流运行详情
从工作流详情的“图形化展示”页面可以直观看到作业的调度运行情况。如上所述,a运行完成后,b和c可以同时启动。
暂停、恢复、停止、重跑
在工作流运行过程中可以暂停工作流,然后可以恢复。也可以直接停止工作流运行。
暂停和停止的区别是:暂停会等待正在运行的作业跑完再暂停,而停止是强行停止所有作业并停止工作流。
如果工作流运行中出现个别作业失败,可以通过重跑工作流-只重试失败节点来尝试恢复工作流的运行。
版权声明
本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。
评论