【基础知识】大数据组件YARN简述

2023-12-19 23:43:28

YARN是一个分布式的资源管理系统。
YARN是Hadoop系统的核心组件，主要功能包括负责在Hadoop集群中的资源管理，负责对作业进行调度运行以及监控。
请添加图片描述

ResourceManager

负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配资源。
非HA集群部署在EMR的Master节点上，HA集群部署在EMR的多个Master节点上，保证了高可用性。

NodeManager

负责节点的资源管理、监控和作业运行。
部署在EMR的Core或Task节点上。

参考文档

什么是资源管理系统YARN_开源大数据平台E-MapReduce-阿里云帮助中心

文章来源:https://blog.csdn.net/weixin_44325637/article/details/135090445
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。