开源大数据集群部署（一）集群实施规划

2024-01-03 15:31:58

作者：櫰木

本次集群规划信息

本次实际生产业务体量存在巨大差异，但集群规划内容相同，因此建议实际生产环境按照按照一定比例扩展即可。

主机操作系统要求

软件信息参数
配置8C16G
操作系统版本CentOS Linux release 7.8.2003 (Core)
java版本java version “1.8.0_281”
hadoop版本hadoop 3.2.4

集群版本规划

集群组建版本
HDFS3.2.4
YARN3.2.4
MapReduce23.2.4
Hive3.1.2
HBase2.1.0
ZooKeeper3.7.1
Trino389

主机角色规划

服务器IP角色
hd1.dtstack.com（管理节点）172.16.104.226namenode/resourcemanager/journalnode/zkfc//hive_metastore/hiveserver2
hd2.dtstack.com（管理节点）172.16.106.252namenode/resourcemanager/journalnode/zkfc/hamster/ranger
hd3.dtstack.com（数据节点）172.16.107.127datanode/nodemanager/journalnode/
hd1.dtstack.com(kerberos节点)172.16.106.165freeipaserver

配置目录规划

所有安装包目录为/opt/hadoop 类似

组件目录名称目录
HADOOPhadoop datanode目录/data/hadoop/dfs/data
hadoop namenode目录/data/hadoop/dfs/name
hadoop临时目录/data/hadoop/tmp
ZOOKEEPERzookeeper数据目录/data/zookeeper/data/
zookeeper日志目录/data/zookeeper/log/

组件系统用户规划

组件启动用户所属组
hdfs（namenode/datanode/zkfc/journalnode）hdfshadoop
yarn（reourcemanager/nodemanager/）yarnhadoop
zookeeperzookeeperzookeeper
hivehivehadoop
hbasehbasehadoop
mysqlmysqlmysql
rangerrangerranger
grafanagrafanagrafana
prometheusprometheusprometheus
trinotrinohadoop

更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw

文章来源:https://blog.csdn.net/weixin_43756308/article/details/135359883
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。