ZooKeeper分布式应用协调服务

1、分布式应用协调服务ZooKeeper
2、数据系统和通知机制的整合
3、在ZooKeeper中数据是以节点【znode】的形式存在，并且在节点中保存了数据，该节点的标识是通过路径标识实现
4、数据节点的存储类型：
（1）persistent：永久存在
（2）persistent_sequential：永久存在且自动编号
（3）ephemeral：临时存在，与客户端连接周期一致，临时节点不能有子节点*****
（4）ephemeral_sequential：临时存在且自动编号，与客户端连接周期一致
5、单机版安装，以下操作均在hadoop101进行
（1）网络下载并上传到linux:/opt/software/zookeeper-3.4.5-cdh5.14.2.tar.gz
（2）解压：tar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/install/
（3）创建软连接：ln -s zookeeper-3.4.5-cdh5.14.2/ zookeeper
（4）配置环境变量：vi /etc/profile
export ZOOKEEPER_HOME=/opt/install/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH
（5）使配置环境变量生效：source /etc/profile
（6）切换到conf目录并复制配置文件：cp zoo_sample.cfg zoo.cfg
（7）修改配置文件：vi zoo.cfg
dataDir=/opt/install/zookeeper/zkData
（8）启动zookeeper服务：zkServer.sh start并用jps查看是否出现QuorumPeerMain
（9）查看zookeeper服务：zkServer.sh status可以看到Mode: standalone
（10）停止zookeeper服务：zkServer.sh stop并用jps查看是否出现QuorumPeerMain
（11）停机做快照

6、客户端常用命令：
（1）查看所有可用的命令帮助：help
（2）查看指定节点下的子节点名称：ls <path>
（3）查看指定节点下的子节点名称及指定节点的详细信息：ls2 <path>
（4）创建节点：create [-s -e] <path> <string_data>，其中-s表示序列号，-e表示临时节点
（5）查看节点数据：get <path>
（6）修改节点数据：set <path> <string_data>
（7）查看节点状态：stat <path>
（8）删除空节点【没有子节点】:delete <path>
（9）删除(非)空节点：rmr <path>
（10）退出客户端：quit

7、java编程：
? ? <dependencies>
? ? ? ? <dependency>
? ? ? ? ? ? <groupId>org.apache.zookeeper</groupId>
? ? ? ? ? ? <artifactId>zookeeper</artifactId>
? ? ? ? ? ? <version>3.4.5</version>
? ? ? ? ? ? <exclusions>
? ? ? ? ? ? ? ? <exclusion>
? ? ? ? ? ? ? ? ? ? <groupId>log4j</groupId>
? ? ? ? ? ? ? ? ? ? <artifactId>log4j</artifactId>
? ? ? ? ? ? ? ? </exclusion>
? ? ? ? ? ? </exclusions>
? ? ? ? </dependency>
? ? ? ? <dependency>
? ? ? ? ? ? <groupId>log4j</groupId>
? ? ? ? ? ? <artifactId>log4j</artifactId>
? ? ? ? ? ? <version>1.2.17</version>
? ? ? ? </dependency>
? ? </dependencies>

log4j.properties文件内容：
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n

8、完全分布式安装zookeeper
（1）向hadoop102上传zookeeper-3.4.5-cdh5.14.2.tar.gz到/opt/software目录中
（2）解压安装：tar -zxvf zookeeper-3.4.5-cdh5.14.2.tar.gz -C /opt/install
（3）建立软链接：ln -s /opt/install/zookeeper-3.4.5-cdh5.14.2 /opt/install/zookeeper
（4）设置环境变量：vi /etc/profile
? ? ?export ZOOKEEPER_HOME=/opt/install/zookeeper
? ? ?export PATH=$ZOOKEEPER_HOME/bin:$PATH
（5）使配置文件生效：source /etc/profile
（6）切换到conf目录并复制及重命名zookeeper的配置文件：
? ? ?cp zoo_sample.cfg zoo.cfg
（7）修改配置文件：vi zoo.cfg
? ? ?修改 dataDir 的值， 配置为下面的值。
? ? ?dataDir=/opt/install/zookeeper/zkData
? ? ?在文件末尾增加如下配置。
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
（8）在/opt/install/zookeeper/zkData目录中创建myid文件并写入id：echo 2 > myid
（9）将配置好的 zookeeper 分发到103,104机器上
? ? ?scp -r /opt/install/zookeeper/ root@hadoop103:/opt/install/
? ? ?scp -r /opt/install/zookeeper/ root@hadoop104:/opt/install/
（10）分别把103,104上的myid文件内容设置为3,4
（11）将环境变量配置文件分发到103,104机器上
? ? ?scp /etc/profile root@hadoop103:/etc/profile
? ? ?scp /etc/profile root@hadoop104:/etc/profile
（12）分别在103,104上使环境变量配置文件生效：source /etc/profile
（13）分别在102,103,104机器上启动zookeeper：zkServer.sh start并通过jps检查，应有QuorumPeerMain
（14）分别在102,103,104机器上查看zookeeper状态：zkServer.sh status
（15）分别在102,103,104机器上停止zookeeper：zkServer.sh stop
（16）做快照

9、三个重要角色：
（1）Leader:更新状态
（2）Follower:接受并处理客户端请求以及参与候选leader
（3）Observer:接受并处理客户端请求，在zoo.cfg文件中修改为
? ? ?server.x=xxxxx:2888:3888:observer
【选举机制：】与下列因素有关：总节点数，节点编号，启动顺序
【在其他节点中启动另一节点的zk】ssh root@hadoop10x "source /etc/profile;zkServer.sh start"?

10、HDFS-HA 集群配置（自动故障转移）
（1）恢复102,103,104三台虚拟机的快照
（2）删除102，103，104三台机器的数据目录：rm -rf /opt/install/hadoop/data
（3）在 hadoop102 上配置 core-site.xml文件：
<configuration>
? ? <!-- 把两个 NameNode 的地址组装成一个集群 mycluster -->
? ? <property>
? ? ? ? <name>fs.defaultFS</name>
? ? ? ? <value>hdfs://mycluster</value>
? ? </property>
? ? <!-- 指定 hadoop 运行时产生文件的存储目录 -->
? ? <property>
? ? ? ? <name>hadoop.tmp.dir</name>
? ? ? ? <value>/opt/install/hadoop/data/tmp</value>
? ? </property>
? ? <!--指定zookeeper集群-->
? ? <property>
? ? ? <name>ha.zookeeper.quorum</name>
? ? ? <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
? ? </property>
</configuration>
（4）在 hadoop102 配置 hdfs-site.xml文件：
<configuration>
? ? <!-- 完全分布式集群名称 -->
? ? <property>
? ? ? ? <name>dfs.nameservices</name>
? ? ? ? <value>mycluster</value>
? ? </property>
? ? <!-- 集群中 NameNode 节点都有哪些,这里是 nn1 和 nn2 -->
? ? <property>
? ? ? ? <name>dfs.ha.namenodes.mycluster</name>
? ? ? ? <value>nn1,nn2</value>
? ? </property>
? ? <!-- nn1 的 RPC 通信地址 -->
? ? <property>
? ? ? ? <name>dfs.namenode.rpc-address.mycluster.nn1</name>
? ? ? ? <value>hadoop102:9000</value>
? ? </property>
? ? <!-- nn2 的 RPC 通信地址 -->
? ? <property>
? ? ? ? <name>dfs.namenode.rpc-address.mycluster.nn2</name>
? ? ? ? <value>hadoop103:9000</value>
? ? </property>
? ? <!-- nn1 的 http 通信地址 -->
? ? <property>
? ? ? ? <name>dfs.namenode.http-address.mycluster.nn1</name>
? ? ? ? <value>hadoop102:50070</value>
? ? </property>
? ? <!-- nn2 的 http 通信地址 -->
? ? <property>
? ? ? ? <name>dfs.namenode.http-address.mycluster.nn2</name>
? ? ? ? <value>hadoop103:50070</value>
? ? </property>
? ? <!-- 指定 JournalNode 的位置 -->
? ? <property>
? ? ? ? <name>dfs.namenode.shared.edits.dir</name>
? ? ? ? <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
? ? </property>
? ? <!-- 指定 journalnode 存储目录-->
? ? <property>
? ? ? ? <name>dfs.journalnode.edits.dir</name>
? ? ? ? <value>/opt/install/hadoop/data/jn</value>
? ? </property>
? ? <!-- 配置隔离机制， 即同一时刻只能有一台服务器对外响应 -->
? ? <property>
? ? ? ? <name>dfs.ha.fencing.methods</name>
? ? ? ? <value>shell(/bin/true)</value>
? ? </property>
? ? <!-- 使用隔离机制时需要 ssh 无密钥登录-->
? ? <property>
? ? ? ? <name>dfs.ha.fencing.ssh.private-key-files</name>
? ? ? ? <value>/root/.ssh/id_rsa</value>
? ? </property>
? ? <!-- 关闭权限检查-->
? ? <property>
? ? ? ? <name>dfs.permissions.enable</name>
? ? ? ? <value>false</value>
? ? </property>
? ? <!-- 指定自动切换实现方式-->
? ? <property>
? ? ? ? <name>dfs.client.failover.proxy.provider.mycluster</name>
? ? ? ? <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
? ? </property>
? ? <!--开启自动故障转移功能-->
? ? <property>
? ? ? <name>dfs.ha.automatic-failover.enabled</name>
? ? ? <value>true</value>
? ? </property>
</configuration>
（5）把以上两个文件复制到103上：scp core-site.xml hdfs-site.xml hadoop103:`pwd`
（6）分别启动102,103,104三台机器的 Zookeeper 集群：zkServer.sh start并通过zkServer.sh status查看
（7）初始化 HA 在 Zookeeper 中状态：hdfs zkfc -formatZK
（8）在102上启动所有journalnode服务：hadoop-daemons.sh start journalnode并通过jps验证
（9）在102上格式化：hdfs namenode -format并通过查看VERSION文件验证
（10）在102上启动namenode服务：hadoop-daemon.sh start namenode并通过jps验证
（11）在103上同步102的元数据信息：hdfs namenode -bootstrapStandby并通过查看VERSION文件验证
（12）在103上启动namenode服务：hadoop-daemon.sh start namenode并通过jps验证
（13）在102上启动所有datanode服务：hadoop-daemons.sh start datanode并通过jps验证及查看VERSION文件验证
（14）在102上启动所有zkfc服务：hadoop-daemons.sh start zkfc并通过jps验证?? ?
（15）在chrome上查看hadoop102，hadoop103上的50070
（16）验证：停止active状态的namenode，然后通过浏览器查看另一台namenode是否自动切换成功
（17）停止所有服务：
? ? ?在102上执行：stop-dfs.sh
? ? ?在102,103,104上执行：zkServer.sh stop
（18）停机做快照

【启停方式一】
zkServer.sh start（查看状态zkServer.sh status）
hadoop-daemon.sh start zkfc
hadoop-daemon.sh start journalnode
hadoop-daemon.sh start namenode（查看状态hdfs haadmin -getServiceState nnx）
hadoop-daemon.sh start datanode
=======================================
hadoop-daemon.sh stop datanode
hadoop-daemon.sh stop namenode（查看状态hdfs haadmin -getServiceState nnx）
hadoop-daemon.sh stop journalnode
hadoop-daemon.sh stop zkfc
zkServer.sh stop（查看状态zkServer.sh status）
【启停方式二】
zkServer.sh start
hadoop-daemons.sh start zkfc
hadoop-daemons.sh start journalnode
hadoop-daemons.sh start namenode
hadoop-daemons.sh start datanode
=======================================
hadoop-daemons.sh stop datanode
hadoop-daemons.sh stop namenode
hadoop-daemons.sh stop journalnode
hadoop-daemons.sh stop zkfc
zkServer.sh start
【启停方式三】（建议）
zkServer.sh start
start-dfs.sh
=======================================
stop-dfs.sh
zkServer.sh stop

12、YARN-HA 集群配置
（1）在102修改yarn-site.xml:
<configuration>
? ? <property>
? ? ? ? <name>yarn.nodemanager.aux-services</name>
? ? ? ? <value>mapreduce_shuffle</value>
? ? </property>
? ? <!--启用 resourcemanager ha-->
? ? <property>
? ? ? ? <name>yarn.resourcemanager.ha.enabled</name>
? ? ? ? <value>true</value>
? ? </property>
? ? <!--声明两台 resourcemanager 的地址-->
? ? <property>
? ? ? ? <name>yarn.resourcemanager.cluster-id</name>
? ? ? ? <value>cluster-yarn1</value>
? ? </property>
? ? <property>
? ? ? ? <name>yarn.resourcemanager.ha.rm-ids</name>
? ? ? ? <value>rm1,rm2</value>
? ? </property>
? ? <property>
? ? ? ? <name>yarn.resourcemanager.hostname.rm1</name>
? ? ? ? <value>hadoop102</value>
? ? </property>
? ? <property>
? ? ? ? <name>yarn.resourcemanager.hostname.rm2</name>
? ? ? ? <value>hadoop103</value>
? ? </property>
? ? <!--指定 zookeeper 集群的地址-->
? ? <property>
? ? ? ? <name>yarn.resourcemanager.zk-address</name>
? ? ? ? <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
? ? </property>
? ? <!--启用自动恢复-->
? ? <property>
? ? ? ? <name>yarn.resourcemanager.recovery.enabled</name>
? ? ? ? <value>true</value>
? ? </property>
? ? <!--指定 resourcemanager 的状态信息存储在 zookeeper 集群-->
? ? <property>
? ? ? ? <name>yarn.resourcemanager.store.class</name>
? ? ? ? <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
? ? </property>
</configuration>
（2）复制到103上：scp yarn-site.xml hadoop103:`pwd`
（3）启动所有zookeeper服务并检查
（4）启动yarn服务：
?? ?yarn-daemons.sh start resourcemanager?
?? ?yarn-daemons.sh start nodemanager
（5）查看yarn服务角色：yarn rmadmin -getServiceState rm1或rm2
（6）通过chrome查看yarn服务角色：8088，注意地址栏中的变化，仅能看到active的rm节点
（7）停止所有服务：
?? ?yarn-daemons.sh stop nodemanager
?? ?yarn-daemons.sh stop resourcemanager
（8）停止三台机器的zk服务
（9）停机做快照

13、建议的启动过程：
（1）zkServer.sh start
（2）start-dfs.sh
（3）yarn-daemons.sh start resourcemanager
（4）yarn-daemons.sh start nodemanager

14、建议的停止过程：
（1）stop-dfs.sh
（2）yarn-daemons.sh stop resourcemanager
（3）yarn-daemons.sh stop nodemanager
（4）zkServer.sh stop

15、如果在启动过程中出现任何问题的解决方案：看异常，查日志，长经验！！！

16、集群规划
102:nn rm dn nm jn zkfc zk
103:nn rm dn nm jn zkfc zk
104:dn nm jn zk