MapReduce和Yarn部署+入门

看的黑马视频记的笔记

---

目录

1.入门知识点

分布式计算：

概念：

两种模式：

MapReduce（分布式计算，分散汇总模式）

????? 概念?

执行原理

注：

Yarn（分布式资源调度）

概述

?Yarn架构（核心架构+辅助架构）

核心架构（与HDFS非常相似、主从架构）

辅助架构

2.部署

mapred-env.sh

mapred-site.xml

yarn-env.sh

yarn-site.xml

分发到另外两个节点

启动YARN

启动WEB UI页面

?3.提交自带MapReduce示例程序到Yarn运行

wordcount

求圆周率

---

---

1.入门知识点

分布式计算：

概念：

????????多个计算机合作，共同完成一个计算手段

两种模式：

????????1.分散-->汇总（聚合）（MapReduce就为该种模式）

????????2.中心调度-->步骤执行（Spark、Flink）

????????指挥小弟执行第几阶段、计算完交换数据

MapReduce（分布式计算，分散汇总模式）

????? 概念?

????????MapReduce是“分散->汇总”模式的分布式计算框架，可供开发人员开发相关程序进行分布式数据计算。

????????MapReduce提供了Map和Reduce2个编程接口：

????????Map（分散）功能接口提供分散功能，有服务器分布式对数据进行处理

????????Reduce（汇总）提供聚合功能，将分布式的处理结果汇总统计

执行原理

????????假设有四台计算机，文件分成三份，三台各自处理数据统计，一台汇总

注：

????????MapReduce尽管可以通过Java、Python等语言进行程序开发，但当下年代基本没人会写它的代码了，因为太过时了。?? 尽管MapReduce很老了，但现在仍旧活跃在一线，主要是Apache Hive框架非常火，而Hive底层就是使用的MapReduce。

Yarn（分布式资源调度）

概述

????????管控整个分布式服务器集群的全部资源，整合进行统一调度，可以提高资源利用率

????????MapRudece是基于Yarn运行的，YARN用来调度资源给MapReduce分配和管理运行资源

????????所以，MapReduce需要YARN才能执行（普遍情况）

?Yarn架构（核心架构+辅助架构）

核心架构（与HDFS非常相似、主从架构）

与HDFS非常相似

????????ResourceManager:整个集群的资源调度者（集群资源的管家），负责协调调度各个程序所需的资源。

??????? NodeManager:单个服务器的资源调度者（单个设备的管家），负责调度单个服务器上的资源提供给应用程序使用。

????????容器类似于一个集装箱，程序运行在容器内，无法突破容器的资源限制 ?

辅助架构

????????代理服务器(ProxyServer)：给Yarn提供一定的安全保障

????????JobHistoryServer历史服务器：统一收集到HDFS，由历史服务器托管为WEB UI供用户在浏览器统一查看

管控整个分布式服务器集群的全部资源，整合进行统一调度

2.部署

????????在node1以hadoop用户做出以下改进：

mapred-env.sh

export JAVA_HOME=/export/server/jdk
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description></description>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/data/mr-history/tmp</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/data/mr-history/done</value>
    <description></description>
  </property>
<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
</property>
</configuration>

yarn-env.sh

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
# export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
# export YARN_LOG_DIR=$HADOOP_HOME/logs/yarn
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
    <description></description>
</property>

  <property>
    <name>yarn.web-proxy.address</name>
    <value>node1:8089</value>
    <description>proxy server hostname and port</description>
  </property>


  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>

  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>


<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
    <description></description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    <description></description>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/nm-local</value>
    <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
  </property>


  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/nm-log</value>
    <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
  </property>


  <property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>10800</value>
    <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>Shuffle service that needs to be set for Map Reduce applications.</description>
  </property>
</configuration>

分发到另外两个节点

?node1配置完，为了省事直接分发给node2、node3

scp * node2:`pwd`/
scp * node3:`pwd`/

启动YARN

#一键启动YARN集群（可控制resourcemanager、nodemanager、proxyserver三种进程
）：
$HADOOP_HOME/sbin/start-yarn.sh

#启动历史服务器
$HADOOP_HOME/bin/mapred --daemon start historyserver 

jps

启动WEB UI页面

????????在浏览器输入http://node1:8088

?3.提交自带MapReduce示例程序到Yarn运行

?? YARN作为资源调度管控框架，其本身提供资源供许多程序运行，常见的有：

1. MapReduce程序

2. Spark程序

3. Flink程序

wordcount

????????这些内置的示例MapReduce程序代码，都在：$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar文件内。

????????可以通过 hadoop jar 命令来运行它，提交MapReduce程序到YARN中。

#在/export操作
vim words.txt

#填入
itheima itcast itheima itcast
hadoop hdfs hadoop hdfs
hadoop mapreduce hadoop yarn
itheima hadoop itcast hadoop
itheima itcast hadoop yarn mapreduce


hadoop fs -mkdir -p /input/wordcount
hadoop fs -mkdir /output
hadoop fs -put words.txt /input/wordcount/

#提交示例MapReduce程序WordCount到YARN中执行

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount hdfs://node1:8020/input/wordcount/ hdfs://node1:8020/output/wc1

#参数
参数wordcount，表示运行jar包中的单词计数程序（Java Class）
参数1是数据输入路径（hdfs://node1:8020/input/wordcount/)
参数2是结果输出路径(hdfs://node1:8020/output/wc1)， 需要确保输出的文件夹不存在

提交程序后，可以在YARN的WEB UI页面看到运行中的程序（http://node1:8088/cluster/apps)

????????查看结果：

求圆周率

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar pi 3 1000


#参数pi表示要运行的Java类，这里表示运行jar包中的求pi程序
#参数3，表示设置几个map任务
#参数1000，表示模拟求PI的样本数（越大求的PI越准确，但是速度越慢）