深度了解flink rpc机制(三)-组件以及交互

Flink RPC 整体架构

Flink集群间组件的通信底层是使用的actor system通信模型和动态代理来实现的,先简单看下Flink RPC相关的类UML图

通信组件

RpcGateway

Flink RPC远程调用网关,是Flink RPC定义远程调用的接口协议,对外提供可调用的接口,所有实现RPC的组件,都要实现这个接口

从RpcGateway继承关系看,Flink的核心组件各自都有相关RpcGateway接口对外接口的实现,组件之间的通信都是通过RpcGateway进行交互的。

FencedRpcGateWay是用于解决集群脑裂问题的,JobMaster、ResourceManager、Dispatcher在高可用的模式下,涉及Leader的选举,可能导致集群脑裂,所以这几个组件都要实现FencedRpcGateWay这个接口。

EndPoint

Endpoint实现了RpcGateway接口,在RpcGateway的基础上提供了RPC服务组件的生命周期管理,Flink中涉及到RPC通信的组件,都要继承Endpoint。

在Flink的设计中,同一个RpcEndpoint中的所有调用只有一个线程来处理,叫做Endpoint主线程,与Actor模型一样,所有对状态数据的修改在同一个线程中执行,所以不存在并发问题。

RpcService

RpcService是Endpoint的成员变量,作用如下:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值