hadoop集群基础环境搭建

2023-12-15 23:48:48

1.安装基础环境(以centos7为例)? ? ? ?

1.1修改IP

  • 创建4台虚拟机IP设置为192.168.154.4,192.168.154.5,192.168.154.6,192.168.154.7
  • 启动每台节点,在对应的节点路径"/etc/sysconfig/network-scripts"下配置ifg-ens33文件配置IP
    (注意,不同机器可能此文件名称不同,一般以ifcfg-xxx命名),以配置ip 192.168.154.4为例,
    ifcfg-ens33配置内容如下:
    TYPE=Ethernet
    BOOTPROTO=static #使用static配置
    DEFROUTE=yes
    PEERDNS=yes
    PEERROUTES=yes
    IPV4_FAILURE_FATAL=no
    IPV6INIT=yes
    IPV6_AUTOCONF=yes
    IPV6_DEFROUTE=yes
    IPV6_PEERDNS=yes
    IPV6_PEERROUTES=yes
    IPV6_FAILURE_FATAL=no
    ONBOOT=yes #开机启用本配置
    IPADDR=192.168.154.4 #静态IP
    GATEWAY=192.168.154.2 #默认网关
    NETMASK=255.255.255.0 #子网掩码
    DNS1=114.114.114.114
  • 重启服务让修改生效:systemctl restart network.service
  • 查看修改IP是否成功:ip addr

1.2修主机名

  • /etc/hostname配置对应的主机名称node01,node02,node03,node04

1.3关闭防火墙

??#检查防火墙状态
? firewall-cmd --state
? #临时关闭防火墙(重新开机后又会自动启动)
? systemctl stop firewalld 或者systemctl stop firewalld.service
? #设置开机不启动防火墙
? systemctl disable firewalld

1.4关闭seLinux

/etc/selinux/config中将SELINUX=enforcing改成SELINUX=disabled即可。

1.5配置阿里云yum源

#安装wget,wget是linux最常用的下载命令(有些系统默认安装,可忽略)

yum -y install wget

#备份当前的yum源

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

#下载阿里云的yum源配置 wget -O /etc/yum.repos.d/CentOS-Base.repo

https://mirrors.aliyun.com/repo/Centos-7.repo

#清除原来文件缓存,构建新加入的repo结尾文件的缓存 yum clean all yum makecache

1.6安装psmisc组件

在HDFS集群搭建完成后,在Namenode HA切换进行故障转移时采用SSH方式进行,底层会使用到fuster包,有可能我们安装Centos7系统没有fuster程序包,导致不能进行NameNode HA 切换,我们可以通过安装Psmisc包达到安装fuster目的,因为此包中包含了fuster程序,安装方式如下,在各个节点上执行如下命令,安装Psmisc包:

yum install psmisc

1.7设置自动更新时间

后续基于Linux各个节点搭建HDFS时,需要各节点的时间同步,可以通过设置各个节点自动更新时 间来保证各个节点时间一致,具体按照以下操作来执行。

修改本地时区及ntp服务

yum -y install ntp

rm -rf /etc/localtime

ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

/usr/sbin/ntpdate -u pool.ntp.org

自动同步时间 设置定时任务,每10分钟同步一次,配置/etc/crontab文件,实现自动执行任务。建议直接 crontab -e 来写入定时任务。使用crontab -l 查看当前用户定时任务。

#各个节点执行 crontab -e 写入以下内容

*/10 * * * * /usr/sbin/ntpdate -u pool.ntp.org >/dev/null 2>&1

#重启定时任务

service crond restart

1. 2. #查看日期

date

1.8安装JDK

  • rpm -ivh /software/jdk-8u181-linux-x64.rpm
  • 配置JDK环境便令

vi /etc/profile ? ??
export ?JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin

#让配置生效

source /etc/profile

1.9?免密钥设置

在Hadoop集群中,需要各个节点之间是有通信的,这里需要设置节点之间免密通信,为了后期操作方便,四台服务器之间需互相均可以免密登录

  1. 首先在四台服务器上都要执行:

? ? ? ssh-keygen ?-t ?rsa??-P ?'' ?-f ?~/.ssh/id_rsa

? ?2.分别将node01,node02,node03,node04节点上的公钥复制到node01节点上

? ? ?

ssh-copy-id node01

3.将node01节点上的authorized_keys文件发送到mynode02、mynode03、mynode04节点上

文章来源:https://blog.csdn.net/dongwen000/article/details/134918702
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。