【大数据（一）】hadoop2.4.1集群搭建(重点)

?

1.准备Linux环境

1.0先将虚拟机的网络模式选为NAT

1.1修改主机名

vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=server1.itcast.cn

1.2修改ip地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0

重新启动网络：service network restart

1.3修改ip地址和主机名的映射关系

vi /etc/hosts

127.0.0.1 ??localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 ????????localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.101 server1.itcast.cn

1.4关闭防火墙iptables并设置其开机启动/不启动

#查看防火墙状态

service iptables status

#关闭防火墙

service iptables stop

#查看防火墙开机启动状态

chkconfig iptables --list

#关闭防火墙开机启动

chkconfig iptables off

1.5 修改sudo

（sudo是linux系统管理指令，是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具）

1.??su root???#进入超级用户

2.??ll /etc/sudoers???#查看/etc/sudoers的权限

3.??chmod 777 /etc/sudoers??#修改/etc/sudoers文件的权限成可读可写可执行

4 ???vi ?/etc/sudoers

# 给hadoop用户添加执行的权限

??root ???ALL=(ALL) ??????ALL

hadoop ?ALL=(ALL) ??????ALL?

5.??chmod 440 /etc/sudoers???#退出保存/etc/sudoers文件

6.??su username??#切换用户到指定用户

7. 关闭linux服务器的图形界面：

（1）vi ?/etc/inittab

（2）id:5:initdefault:??------>??id:3:initdefault:

8.重启Linux：Reboot?

1.6 虚拟机复制??

?右键-->管理-->克隆

（1）解决克隆后eth0不见的问题

直接修改 ?/etc/sysconfig/network-script/ifcfg-eth0

删掉UUID ?HWADDR

配置静态地址

（2）然后：

vi /etc/udev/rules.d/70-persistent-net.rules

???删除eth0的一段

???把第二段的最后 eth1 改成eth0

然后 reboot

????????????????????????????????????????

2.安装JDK

2.1上传安装包

alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz

2.2解压jdk

#创建文件夹

mkdir /home/hadoop/app

#解压

tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

2.3将java添加到环境变量中

vi /etc/profile

#在文件最后添加

export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#刷新配置

source /etc/profile

3.安装hadoop2.4.1

3.1上传安装包

alt+p 后出现sftp窗口先上传hadoop的安装包到服务器上去/home/hadoop/

解压到 Hadoop/apps :?tar -zxvf hadoop-2.6.4.tar.gz -C /home/hadoop/apps

注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop

伪分布式需要修改5个配置文件

3.2配置hadoop

????进入目录：cd ?/home/hadoop/apps/hadoop-2.6.4/etc/hadoop

第一个：hadoop-env.sh

vi hadoop-env.sh

#第27行?

编辑

export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_45

第二个：core-site.xml

vi ?core-site.xml

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://mini1:9000</value>

</property>

(修改前的<value>hdfs://weekend-1206-01:9000</value>)

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hdpdata</value>

????????</property>

（修改前的<value>/home/hadoop/hadoop-2.4.1/tmp</value> ?)

</configuration>

第三个：hdfs-site.xml ??

???vi hdfs-site.xml

<!-- 指定HDFS副本的数量 -->

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.secondary.http.address</name>

<value>192.168.1.152:50090</value>

</property>

</configuration>

第四个：mapred-site.xml

(mv mapred-site.xml. ?template mapred-site.xml)

mv mapred-site.xml.template ?????mapred-site.xml

vim mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

重命名：mv mapred-site.xml.template ???mapred-site.xml

第五个：yarn-site.xml

vi yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>mini1</value>

</property>

<!-- reducer获取数据的方式 -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

??分发到各个mini2 ，mini3 的机器上

scp -r /home/hadoop/apps?mini2:/home/hadoop/

scp -r /home/hadoop/apps?mini3:/home/hadoop/

3.3将hadoop添加到环境变量

sudo vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_65

export HADOOP_HOME=?/home/hadoop/apps/hadoop-2.6.4?

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

分发到各个mini2 ，mini3 的机器上

sudo scp /etc/profile mini2:/etc/

sudo scp /etc/profile mini3:/etc/

3.4格式化namenode（是对namenode进行初始化）

hdfs namenode -format (hadoop namenode -format)

hdfs datanode -format

添加从节点

vi /home/hadoop/apps/hadoop-2.6.4/etc/Hadoop/slaves

localhost

mini2

mini3

3.5启动/关闭hadoop

#mini1：cd ?/home/hadoop/apps/hadoop-2.6.4/sbin

启动： hadoop-daemon.sh ?start namenode

关闭：hadoop-daemon.sh ?stop?namenode

#mini2: source /etc/profile

启动：hadoop-daemon.sh ?start datanode

关闭：hadoop-daemon.sh ?stop?datanode

#mini3

启动：hadoop-daemon.sh ?start datanode

关闭：hadoop-daemon.sh ?stop?datanode

先启动HDFS

sbin/start-dfs.sh

再启动YARN

sbin/start-yarn.sh

------------------------------------------------------------------------------

全部启动

路径：?cd ?/home/hadoop/apps/hadoop-2.6.4/sbin

./start-all.sh

./stop-all.sh

启动namenode

hadoop-daemon.sh start namenode

启动datanode

hadoop-daemon.sh start datanode

启动yarn

hadoop-daemon.sh start yarn

查看hdfs 状态

hdfs ?dfsadmin ?-report

??

3.6验证是否启动成功

使用jps命令验证

27408 NameNode

28218 Jps

27643 SecondaryNameNode

28066 NodeManager

27803 ResourceManager

27512 DataNode

http://192.168.1.101:50070 （HDFS管理界面）

http://192.168.1.101:8088 （MR管理界面）

4.配置ssh免登陆

系统重装后修改 ssh：

进入是vi ?/root/.ssh/known_hosts?删除对应的节点内容

--------------------------------------------------------------------------------

#生成ssh免登陆密钥

#进入到我的home目录:cd ~/.ssh

?（1） ssh-keygen （四个回车）

执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免密登陆的目标机器上

?（2） ssh-copy-id mini2

---------------------------

ssh免登陆：

生成key:

ssh-keygen

复制从A复制到B上:

ssh-copy-id B

验证：

ssh localhost/exit，ps -e|grep ssh

ssh A ?#在B中执行

?