Flink-Task、SubTask、并行度

Flink Task && SubTask 1. 基本概念 Task(任务)：Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。 subTask(子任务)：subTask 是 Flink 中任务最小执行单元，是一个 Java 类的实例，这个 Java 类中有属性和方法，完成具体的计算逻辑。 Operator Chains(算子链)：没有 shuffle 的多个算子合并在一个 subTask 中，就形成了 Operator Chains，类似

概念： Task(任务):Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。 subTask(子任务)：subTask 是 Flink 中任务最小执行单元，是一个 Java 类的实例，这个 Java 类中有属性和方法，完成具体的计算逻辑。 Operator Chains(算子链)：没有 shuffle 的多个算子合并在一个 subTask 中，就形成了 Operator Chains，类似于 Spark 中的 Pipeline。 Slot(插槽)：F

文章目录官网参考1.任务2.通过flinkUI可以看到 有几个框就是几个Task3.程序模型4.流的分类5.Operator Chains6.Task Slot (TM = JVM)7.获取整个算子的执行计划8.flink通过webUI的Jar包传到哪里去了 java.io.tmpdir=/tmp 官网参考 # https://ci.apache.org/projects/flink/flink-docs-release- 1.11/concepts/flink-architecture.html

我们在学习Flink时，经常会听到 task，slot，线程以及并行度这几个概念，对于初学者来说，这几个概念关系以及它们与系统内存，CPU之间的关系经常搞不清楚，下面我们就通过这篇文章来弄清楚这些概念与关系。 并行度 特定算子的子任务（subtask）的个数称之为并行度（parallel），一般情况下，一个数据流的并行度可以认为是其所有算子中最大的并行度。Flink中每个算子都可以在代码中通过.setParallelism(n)来重新设置并行度。而并行执行的subtask要发布到不同的slot中去执行。 T

Flink的任务链Flink的任务链禁用全局任务链禁用局部任务链 Flink的任务链 Flink 中的每个算子都可以设置并行度，每个算子的一个并行度实例就是一个 subTask。由于 Flink 的 TaskManager 运行 Task 的时候是每个 Task 采用一个单独的线程，这会带来很多线程切换和数据交换的开销，进而影响吞吐量。 为了避免数据在网络或线程之间传输导致的开销，Flink 会在 JobGraph 阶段，将代码中可以优化的算子优化成一个算子链（Operator Chains）以放到一个 T

另外一个方面是在Flink中运行的task对CPU资源的占用不同，有CUP密集型task 操作和CPU非密集型task操作情况，例如在Flink集群中source和map操作只是读数据后转换，对CPU占用短，但是window这种穿口计算聚合操作设计大量数据计算，占用CPU资源长，这就导致运行时候source/map，sink操作非常快，window操作时间长，source/map对应的subtask会等待window对应的subtask执行，同样sink的对应的。Flink中哪些操作可以合并一起？

为了实现并行执行，Flink应用会将算子划分为不同任务，然后将这些任务分配到集群中的不同进程上去执行。和很多其他分布式系统一样，Flink应用的性能很大程度上取决于任务的调度方式。任务被分配到的工作进程、任务间的共存情况以及工作进程中的任务数都会对应用的性能产生显著影响。本节中我们就讨论一下如何通过调整默认行为以及控制作业链与作业分配（处理槽共享组）来提高应用的性能。其实这两个概念我们可以看作：资源共享链与资源共享组。

文章目录五、Time和Window5.1、Time5.2、Window1、概述2、Window类型5.3、Window API1、CountWindow2、TimeWindow3、Window Reduce4、Window Fold5、Aggregation on Window六、EventTime与Window6.1、EventTime的引入6.2、Watermark1、概念2、Watermar...

FLink-10-Flink相关概念-并行度/task/subtask/taskslot

1、 Flink中阶段划分的理解： Task 对照Spark中的Stage; SubTask 对照Spark中的task 2、

Flink架构 JobManager TaskManager Task SubTask一、前言二、Flink架构1. JobManager1.1 JobMaster1.2 ResourceManager1.3 Dispatcher2. TaskManager2.1 Task和SubTask2.2 Slot 插槽 一、前言 最近发现玩游戏有点过头，夜里2点多还在玩，玩了一千多场亚瑟，拿到了第2次16.0分。感觉自己挺厉害，其实还是个菜。打算最近不能玩王者了，太容易上瘾，只要有时间控制不住的玩。而且我自己特别.

Flink 采用了一种称为任务链的优化技术，可以在特定条件下减少本地通信的开销。为了满足任务链的要求，必须将两个或多个算子设为相同的并行度，并通过本地转发（local forward）的方式进行连接，相同并行度的 one-to-one 操作，Flink 这样相连的算子链接在一起形成 一个task，原来的算子成为里面的 subtask，同而共享相同的slot。 任务链的手动配置 ①全部不合成任务链 env.disableOperatorChaining() ②单个算子不参与合成任务链 .disableCh

Flink 中每一个 TaskManager 都是一个JVM进程，它可能会在独立的线程上执行一个或多个 subtask 为了控制一个 TaskManager 能接收多少个 task， TaskManager 通过 task slot 来进行控制（一个 TaskManager 至少有一个 slot） slot 主要隔离内存，cpu 是slot之间共享的。也就是说4核的机器 ，内存足够，可以把s...

任务链以及共享组1.默认情况下：所有算子都是同一个共享组，开启了任务链合并任务所需的slot数量：最大并行度任务链的个数：宽依赖 、并行度2.给算子独立设置了共享组：开启了任务链的合并任务所需的Slot数量：每个共享组中最大的并行度的和任务链的个数：宽依赖 、并行度 、共享组3.全局设置禁用任务链同一个共享组任务所需的slot数量：最大并行度任务链的个数：算子的个数4.给某个算子开启新的任务链同一个共享组。

执行图 并行度 什么是并行度？ 什么是stream 的最大并行度？ ???? 算子的数据传输 2种形式？ 任务链 flink 的任务链？ 满足任务链的要求？ ????

由于共享slot的存在，当一个任务链的计算量特别庞大时，且只在一个slot上执行，对于slot的压力过大，需要拆开。1）disableChaining：如果对一个算子使用了disableChaining（取消任务链），那么该算子就会与前后算子隔离开，不参与任务链的组合，独用一个slot。2）startNewChain：如果一个任务链只是过于庞大，但是算子之间的操作简单，仅想拆开为2个任务链，并且参与任务链组合，就需要对算子使用startNewChain(开启一个新的任务链)，意思就是之前该怎么合并就怎么合并

https://blog.csdn.net/weixin_43303297/article/details/104963306