物理机搭建hive
2024-01-08 18:48:52
    		一、修改Hadoop配置
- 修改core-site.xml


 - 配置yarn-site.xml


 - 分发文件,然后重启集群

 
二、 Hive解压安装
- 上传文件


 - 添加hive环境便量,source生效


 - 启动高可用集群,启动hive

 
三、配置mysql元数据库
-  
检查当前系统是否安装过Mysql,如果存在就是用下列命令移除,如果不存在则忽略。(一定要做这一步)

 -  
将MySQL安装包上传到/opt/software目录下,解压MySQL安装包资源到/opt/software 下新创建的mysqljars目录

 -  
在/opt/software/mysql_jars目录下执行rpm安装,严格按照如下顺序执行

 -  
初始化数据库(这个是mysql数据库安装后的初始化),会创建mysql内部数据库和表。
初始化前删除**/var/lib/mysql**目录下的所有内容:
初始化


注意:初始化遇到下面的问题说明,文件没删除,使用root用户去删干净


 -  
初始化完成后,查看临时生成的root用户的密码,也是首次登录msql的密码;启动mysql


注意:如果启动出现下面报错,重启下mysql



 -  
修改密码,修改mysql库下的user表中的root用户允许任意ip连接并刷新,使得修改生效

 -  
配置Hive元数据库为MySql,配置Metastore到MySql
拷贝驱动

配置Metastore到MySql,在/opt/module/hive/conf目录下新建hive-site.xml文件(新建的配置文件中的配置会覆盖默认配置) 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- jdbc连接的URL -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
</property>
    <!-- jdbc连接的Driver-->
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
</property>
    <!-- jdbc连接的username-->
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <!-- jdbc连接的password -->
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
</property>
    <!-- Hive默认在HDFS的工作目录 -->
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
    </property>
   <!-- Hive元数据存储的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
    <!-- 元数据存储授权  -->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>
</configuration>
 
- 登陆MySQL,新建Hive元数据库,初始化Hive元数据库,启动Hive



 
三、将Mysql做为元数据库,部署元数据服务
- 将hive的元数据库配置为Mysql,在hive-site.xml文件中添加如下配置信息,启动元数据服务和hive



 
注意:在配置了此参数后,启动hive之前必须先启动元数据服务,否则,hive启动后无法连接到元数据服务
- 开启Hiveserver2,在hive-site.xml文件中添加如下配置信息 

 - 重启MetaStore服务 ,启动hive服务(这里需要考虑元数据的访问方式,如何使用元数据服务的模式,需要提前开启元数据服务),启动beeline客户端(需要多等待一会,否则会报错连不上)
 


 注意:先启动元数据服务 在启动hs2,再用工具(idea)连接hive;
 

 
    			文章来源:https://blog.csdn.net/qq_37232843/article/details/135443293
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!
    	本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!