Flink 运行架构和核心概念
2023-12-13 08:42:14
Flink 运行架构和核心概念
几个角色的作用:
- 客户端:提交作业
- JobManager进程 任务管理调度
- JobMaster线程 一个job对应一个JobMaster 负责处理单个作业
- ResourceManager 资源的分配和管理,资源就是任务槽
- 分发器 提交应用,为每一个新提交的作业启动一个新的JobMaster 组件
- TaskManager 处理数据,每个TaskManager 都包含一定的slots
作业提交过程(Standlone)
- 提交作业到客户端
- 客户端解析参数 提交任务到JobManager
- JobManager通过分发器启动并提交应用(作业图 JobGraph),一个作业对应一个JobMaster
- JobMaster 将作业图 解析为可执行的执行图 Execution Graph,得到所需要的资源数,向资源管理器请求slots
- 资源管理器 向TaskManager请求资源 也就是slots
- TaskManager 会向资源管理器注册自己的任务槽,并提供
- JobMaster 分发任务给TaskManager
核心概念
并行度
特定算子子任务的个数。
设置有三种方式
- 代码中设置
stream.map(word -> Tuple2.of(word, 1L)).setParallelism(2);
- 提交应用时设置 全局设置
bin/flink run –p 2 –c com.atguigu.wc.SocketStreamWordCount
./FlinkTutorial-1.0-SNAPSHOT.jar
- 配置文件中设置
算子
算子有两种
- 一对一 类似于窄依赖
- 重分区 类似于shuffle
并行度相同的 一对一的算子可以合并 成为 算子链
// 禁用算子链
.map(word -> Tuple2.of(word, 1L)).disableChaining();
// 从当前算子开始新链
.map(word -> Tuple2.of(word, 1L)).startNewChain()
任务槽
TaskManager所分配的特定的资源(内存)
任务槽数量的设置,在配置文件中 默认的数量是1
taskmanager.numberOfTaskSlots: 8
任务槽只是隔离内存 不隔离cpu所以 一般会把任务槽的数量设置为cpu的核数,避免不同任务对cpu的争抢。
同一个作业中的不同任务节点的并行子任务,可以放到同一个slot中执行
任务槽和并行度的关系:
占用任务槽的数量等于作业的最大并行度。
文章来源:https://blog.csdn.net/weixin_47467016/article/details/134520204
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!