【Hadoop_02】Hadoop运行模式

2023-12-13 15:32:35

1、Hadoop的scp与rsync命令

Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。

  • 本地模式:单机运行,生产环境不用。
  • 伪分布式模式:也是单机运行,但是具备Hadoop集群的所有功能,一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试,生产环境不用。
  • 完全分布式模式:多台服务器组成分布式环境,生产环境使用。

在这里插入图片描述

(1)本地运行模式

在这里插入图片描述

现在在word.txt里面写了数据,现在想统计这份数据当中,每个单词出现的频数。

在这里插入图片描述

mapreduce程序必须指定对应的输入路径和输出路径,并且输出路径不能存在。

[root@hadoop102 hadoop-3.1.3]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ ./wcountput

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

(2)完全分布式搭建

现在hadoop102上已经安装好JDK与hadoop,并配置好环境变量了,接下来要写一个集群分发脚本,将hadoop102的拷贝到103和104上。

在这里插入图片描述

【1】利用102将102的文件推到103

在102上操作,将102的JDK拷贝到103:

在进行这一步操作的时候,我的102的网络一直有问题,并且还出现Xshell无法连接服务器的问题,重启也解决不了,最终通过这篇博客得到解决
网络异常:Failed to start LSB: Bring up/down networking

在这里插入图片描述
原因是因为wenxin这个用户没有写入权限,将权限修改成root即可:

在这里插入图片描述

【2】利用103将102的文件拉到103

在103上操作,将102的文件拉到103

在这里插入图片描述

【3】利用103将102的文件拉到104

在这里插入图片描述

(3)rsync命令

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsyns和scp的区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新【就是不相同的地方】。scp是把所有文件都复制过去。

在这里插入图片描述
将103的两个文件删除:
在这里插入图片描述
接下来在102上将hadoop的内容都同步到103上。【没同步之前两种相差刚刚删除的两个文件】

在这里插入图片描述

在这里插入图片描述

(4)xsync集群分发脚本

在这里插入图片描述

(a)在bin目录下创建一个xsync文件,就能够实现在全局当中使用

在这里插入图片描述

[wenxin@hadoop102 opt]$ cd /home/atguigu
[wenxin@hadoop102 ~]$ mkdir bin
[wenxin@hadoop102 ~]$ cd bin
[wenxin@hadoop102 bin]$ vim xsync

文件内容如下:

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录,挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

(b)修改脚本 xsync 具有执行权限

[wenxin@hadoop102 bin]$ chmod +x xsync

(c)测试脚本

[wenxin@hadoop102 ~]$ xsync /home/atguigu/bin

(d)将脚本复制到/bin中,以便全局调用

[wenxin@hadoop102 bin]$ sudo cp xsync /bin/

在这里插入图片描述
(e)同步环境变量配置(root所有者)

[wenxin@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

在这里插入图片描述

注意:如果用了sudo,那么xsync一定要给它的路径补全。
让环境变量生效

[wenxin@hadoop103 bin]$ source /etc/profile
[wenxin@hadoop104 opt]$ source /etc/profile

2、ssh免密登录

(1)利用102登录103

ssh另一台电脑的IP地址

在这里插入图片描述

退回到hadoop102:

在这里插入图片描述

(2)配置102可以无密登录103和104

在这里插入图片描述

(1)生成公钥和私钥

[root@hadoop102 .ssh]$ pwd
/home/atguigu/.ssh
[root@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)

在这里插入图片描述

在这里插入图片描述

(2)将公钥拷贝到要免密登录的目标机器上

[root@hadoop102 .ssh]$ ssh-copy-id hadoop102
[root@hadoop102 .ssh]$ ssh-copy-id hadoop103
[root@hadoop102 .ssh]$ ssh-copy-id hadoop104

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

3、配置集群

在这里插入图片描述

(1)核心配置文件

配置core-site.xml

[root@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[root@hadoop102 hadoop]$ vim core-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/wenxin/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
</configuration>

在这里插入图片描述

(2)HDFS配置文件
配置hdfs-site.xml

[root@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

(3)YARN配置文件

配置yarn-site.xml

[root@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

(4)MapReduce配置文件
配置mapred-site.xml

[root@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

(2)群起集群

1)配置workers

[root@hadoop102 hadoop]$ vim /home/wenxin/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容:【注意要把原来的localhost删除】

hadoop102
hadoop103
hadoop104

注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
同步所有节点配置文件

[root@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

在这里插入图片描述

2)启动集群

(1)如果集群是第一次启动,需要在hadoop102节点格式化NameNode(注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果集群在运行过程中报错,需要重新格式化NameNode的话,一定要先停止namenode和datanode进程,并且要删除所有机器的data和logs目录,然后再进行格式化。)

[root@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

在这里插入图片描述

(2)启动HDFS

[root@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

在这个环节我又遇到了一个错误,结果查找了以下的博客成功解决【我使用的是第一个方法】:两种解决ERROR: Attempting to operate on hdfs namenode as root的方法

在这里插入图片描述
检查一下发现103和104也启动完毕了
在这里插入图片描述

(3)在配置了ResourceManager的节点(hadoop103)启动YARN

[root@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

(4)Web端查看HDFS的NameNode

– (a)浏览器中输入:http://hadoop102:9870
– (b)查看HDFS上存储的数据信息

(5)Web端查看YARN的ResourceManager

– (a)浏览器中输入:http://hadoop103:8088
– (b)查看YARN上运行的Job信息

由于我们在103上安装了RM,因此要在103上启动
这里又出现一个问题,不过也解决了:启动start-yarn.sh报错ERROR: Attempting to operate on yarn resourcemanager as root ERROR: but there is no

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

(3)集群基本测试

在hadoop102上启动HDFS:

在这里插入图片描述
在配置了ResourceManager的节点(hadoop103)启动YARN:

在这里插入图片描述
打开这两个网址:http://hadoop102:9870 、 http://hadoop103:8088

在这里插入图片描述

在这里插入图片描述
注:这里如果关掉集群使用
在这里插入图片描述
如果想要单独停止某个服务的话:
在这里插入图片描述

(1)上传文件到集群

  • 上传小文件
[root@hadoop102 ~]$ hadoop fs -mkdir /input
[root@hadoop102 ~]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

hadoop fs -mkdir /input: 这条命令在 HDFS 中创建了一个名为 /input 的目录。在 Hadoop 中,HDFS 是用于存储数据的分布式文件系统,hadoop fs -mkdir 命令用于创建目录。

hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input: 这条命令将本地文件系统中的 $HADOOP_HOME/wcinput/word.txt 文件上传到先前创建的 /input 目录中。hadoop fs -put 命令用于将本地文件上传到 HDFS 中的指定位置。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 上传大文件
[root@hadoop102 ~]$ hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

(2)上传文件后查看文件存放在什么位置

  • 查看HDFS文件存储路径
[root@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-192.168.10.102-1610603650062/current/finalized/subdir0/subdir0
  • 查看HDFS在磁盘存储文件内容
[root@hadoop102 subdir0]$ cat blk_1073741825
hadoop yarn
hadoop mapreduce 
wenxin
wenxin

(3)拼接

-rw-rw-r--. 1 atguigu atguigu 134217728 523 16:01 blk_1073741836
-rw-rw-r--. 1 atguigu atguigu   1048583 523 16:01 blk_1073741836_1012.meta
-rw-rw-r--. 1 atguigu atguigu  63439959 523 16:01 blk_1073741837
-rw-rw-r--. 1 atguigu atguigu    495635 523 16:01 blk_1073741837_1013.meta
[root@hadoop102 subdir0]$ cat blk_1073741836>>tmp.tar.gz
[root@hadoop102 subdir0]$ cat blk_1073741837>>tmp.tar.gz
[root@hadoop102 subdir0]$ tar -zxvf tmp.tar.gz

(4)下载

[root@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux-x64.tar.gz ./

(5)执行wordcount程序

[root@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

上面这个命令的目的是运行一个 WordCount MapReduce 作业,从指定的输入路径 /input 读取数据,对其中的单词进行计数,并将结果输出到指定的输出路径 /output
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

(4)配置历史服务器

这步操作是为了解决上面的这个问题:
在这里插入图片描述

具体配置步骤如下:
1)配置mapred-site.xml

[root@hadoop102 hadoop]$ vim mapred-site.xml

在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

在这里插入图片描述

2)分发配置

[root@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

在这里插入图片描述

3)在hadoop102启动历史服务器

[root@hadoop102 hadoop]$ mapred --daemon start historyserver

4)查看历史服务器是否启动

[root@hadoop102 hadoop]$ jps

5)查看JobHistory

http://hadoop102:19888/jobhistory

在这里插入图片描述

在这里插入图片描述

(5)配置日志的聚集

日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。

在这里插入图片描述

日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。
注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryServer。
开启日志聚集功能具体步骤如下:
1)配置yarn-site.xml

[root@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置。

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7-->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2)分发配置

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

【分发完毕之后一定要重启】
3)关闭NodeManager 、ResourceManager和HistoryServer

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ mapred --daemon stop historyserver

4)启动NodeManager 、ResourceManage和HistoryServer

[atguigu@hadoop103 ~]$ start-yarn.sh
[atguigu@hadoop102 ~]$ mapred --daemon start historyserver

5)删除HDFS上已经存在的输出文件

[atguigu@hadoop102 ~]$ hadoop fs -rm -r /output

6)执行WordCount程序

[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

文章来源:https://blog.csdn.net/wxfighting/article/details/134839425
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。