工作流调度器

工作流调度器

1. 工作流调度系统产生背景

一个完整的数据分析系统通常都是由大量任务单元组成：
shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等。
各个任务单元之间存在时间先后依赖关系。
为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。

2. 工作流调度实现方式

• 简单的任务调度：
  直接使用 linux 的 crontab 来定义,但是缺点也是比较明显，无法设置依赖。

• 复杂的任务调度：
  自主开发调度平台
  使用开源调度系统，比如 azkaban、ooize、Zeus 等。
  其中知名度比较高的是 Apache Oozie，但是其配置工作流的过程是编写大量的 XML配置，而且代码复杂度比较高，不易于二次开发。开发中用的较多的是azkaban。

喜欢就点赞评论+关注吧

感谢阅读，希望能帮助到大家，谢谢大家的支持！