Hadoop集群三节点搭建(二)

2024-01-10 10:28:46

一、克隆三台主机(hadoop102 hadoop103 hadoop104)

以master为样板机克隆三台出来,克隆前先把master关机
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
按照上面的步骤克隆其他两个就可以了,记得修改ip和hostname

二、编写集群同步脚本

  1. 在/home/attest/ 创建bin目录,在/home/attest/bin目录下创建集群同步脚本
#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo "Not Enough Arguement!"
    exit
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录,挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done
  1. 给脚本添加执行权限
    在这里插入图片描述
  2. 测试脚本
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
测试成功

  1. SSH无密登录配置
    在这里插入图片描述

二、集群配置

集群规划如下:
在这里插入图片描述

  1. 配置core-site.xml
    在这里插入图片描述
    在这里插入图片描述
  2. 配置hdfs-site.xml(还是在原来的目录下)
    在这里插入图片描述
  3. 配置yarn-site.xml(还是在原来的目录下)
    在这里插入图片描述
  4. 配置mapred-site.xml(还是在原来的目录下)
    在这里插入图片描述
  5. 分发文件
    在这里插入图片描述
  6. 配置workers
    在这里插入图片描述在这里插入图片描述
    分发文件
    在这里插入图片描述

三、启动集群

  1. 启动HDFS
    第一启动需要初始化NN,
  2. 启动yarn
    在这里插入图片描述

四、配置历史服务器

  1. 配置mapred-site.xml
    在这里插入图片描述
  2. 在hadoop102启动历史服务器
    在这里插入图片描述
  3. 配置日志的聚集,配置yarn-site.xml
    在这里插入图片描述
  4. 关闭HistoryServer
    在这里插入图片描述
  5. 集群时间同步
    查看hadoop102服务状态和开机自启动状态(如果开着就关掉)
    在这里插入图片描述
    在这里插入图片描述
    修改hadoop102的ntp.conf配置文件
    在这里插入图片描述
    修改hadoop102的/etc/sysconfig/ntpd 文件
    在这里插入图片描述
    在这里插入图片描述
    重新启动ntpd服务
    在这里插入图片描述
    关闭其他节点上ntp服务和自启动(使用root用户)
    在这里插入图片描述
    在这里插入图片描述
    在其他机器配置1分钟与时间服务器同步一次

在这里插入图片描述

文章来源:https://blog.csdn.net/qq_37232843/article/details/135416650
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。