Hive02_基本使用,常用命令

2023-12-25 12:11:23

一、Hive基本概念

1 什么是 Hive

1)hive 简介

Hive:由 Facebook 开源用于解决海量结构化日志的数据统计工具。

Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类 SQL 查询功能。

2)Hive 本质:将 HQL 转化成 MapReduce 程序

在这里插入图片描述

  1. Hive 处理的数据存储在 HDF

  2. Hive 分析数据底层的实现是 MapReduce

  3. 执行程序运行在 Yarn 上

2 hive优缺点

hive多用于海量结构化日志数据分析,如统计网站一个时间段内的pv、uv,多维度数据分析。

优点:

1、简单,容易上手,提供了类SQL查询语言HQL;

2、为超大数据集设计的计算/扩展能力;

3、统一的元数据管理,可在多各组件进行数据共享;

缺点:

1、hive的HQL表达能力有限,对于迭代式算法和复杂运算无法表达;

2、hive效率较低,自动生成MapReduce作业,通常不够智能,并且调优困难,粒度较粗,可控性差;

二 、Hive的基本操作

1 hive的简单使用

启动hive,在hive中创建一张表

create table mytest(id varchar(20));

查看此表的位置 /user/hive/warehouse/mytest
在这里插入图片描述

退出hive,创建一个txt文档,并写入数据

touch test.txt
vi test.txt

写入数据:

1001
1002
1003

将test.txt放入表中

hadoop fs -put test.txt /user/hive/warehouse/mytest

启动hive,查看表中的数据

hive> select *  from mytest;

查看表信息:

打开mysql中 metastore库,找到DBS表

在这里插入图片描述

找到TBLS表

在这里插入图片描述

2 使用元数据服2务的方式访问 Hive

1)在 hive-site.xml 文件中添加如下配置信息

 <!-- 指定存储元数据要连接的地址 -->
 <property>
 	<name>hive.metastore.uris</name>
 	<value>thrift://192.168.149.151:9083</value>
 </property>

2)启动 metastore

[root@hadoop2 hive]# bin/hive --service metastore

2023-09-21 00:49:18: Starting Hive Metastore Server

注意: 启动后窗口不能再操作,需打开一个新的 shell 窗口做别的操作

如果启动报错,查看jps服务,杀掉RunJar;

在这里插入图片描述

在这里插入图片描述

[root@hadoop2 hive]# kill -9 3034

3在新窗口重新启动hive

[root@hadoop$HIVE_HOME/bin/hive

3 使用jdbc连接hive

1)在 hive-site.xml 文件中添加如下配置信息

 <!-- 指定 hiveserver2 连接的 host -->
 <property>
 	<name>hive.server2.thrift.bind.host</name>
 	<value>192.168.149.151</value>
 </property>

 <!-- 指定 hiveserver2 连接的端口号 -->
 <property>
 	<name>hive.server2.thrift.port</name>
 	<value>10000</value>
 </property>

2)启动 hiveserver2

[root@localhost hive]$ bin/hive --service hiveserver2

3)启动 beeline 客户端(需要多等待一会)

[root@loaclhost hive]$ bin/beeline -u jdbc:hive2://0: jdbc:hive2://192.168.149.151:10000 -n root

4)看到如下界面
Connecting to jdbc:hive2://hadoop102:10000
Connected to: Apache Hive (version 3.1.2)
Driver: Hive JDBC (version 3.1.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 3.1.2 by Apache Hive
0: jdbc:hive2://192.168.149.151:10000>

三、 Hive 常用交互命令

1 查看hive常用命令a

[root@hadoop2 hive]# $HIVE_HOME -help
$ hive -help
usage: hive
 -d,--define <key=value>          Variable substitution to apply to Hive
                                  commands. e.g. -d A=B or --define A=B
    --database <databasename>     Specify the database to use
 -e <quoted-query-string>         SQL from command line
 -f <filename>                    SQL from files
 -H,--help                        Print help information
    --hiveconf <property=value>   Use value for given property
    --hivevar <key=value>         Variable substitution to apply to Hive
                                  commands. e.g. --hivevar A=B
 -i <filename>                    Initialization SQL file
 -S,--silent                      Silent mode in interactive shell
 -v,--verbose                     Verbose mode (echo executed SQL to the
                                  console)

1)“-e”不进入 hive 的交互窗口执行 sql 语句

[root@hadoop2 hive]# bin/hive -e "select * from mytest;"

2)“-f”执行脚本中 sql 语句
(1)在/usr/soft/hive/下创建 datas 目录并在 datas 目录下创建 hivef.sql 文件

[root@hadoop2 hive]# mkdir datas
[root@hadoop2 datas]# touch hivef.sql 
[root@hadoop2 datas]# vi hivef.sql 

(2)文件中写入正确的 sql 语句

select * from mytest;
select count(id) from mytest;

(3)执行文件中的 sql 语句

[root@hadoop2 hive]# bin/hive -f $HIVE_HOME/datas/hivef.sql

(4)执行文件中的 sql 语句并将结果写入文件中

[root@hadoop2 hive]# bin/hive -f $HIVE_HOME/datas/hivef.sql >/usr/soft/hive/datas/hive_result.txt

四、Hive 其他命令操作

1)退出 hive 窗口:

hive(default)>exit;
hive(default)>quit;

2)在 hive cli 命令窗口中如何查看 hdfs 文件系统

hive(default)>dfs -ls /;

3)查看在 hive 中输入的所有历史命令
(1)进入到当前用户的根目录 /root
(2)查看. hivehistory 文件

[root@hadoop2 ~]#  cat .hivehistory

Hive 运行日志信息配置

1)Hive 的 log 默认存放在/tmp/root/hive.log 目录下(当前用户名下)

2)修改 hive 的 log 存放日志到/uer/soft/hive/logs
(1)修改/usr/soft/hive/conf/hive-log4j2.properties.template 文件名称为
hive-log4j2.properties

[root@hadoop2 conf]# mv hive-log4j2.properties.template hive-log4j2.properties

(2)在 hive-log4j2.properties 文件中修改 log 存放位置

property.hive.log.dir = /usr/soft/hive/logs

1 打印 当前库名 和 表头信息

在 hive-site.xml 中加入如下两个配置:

<property>
	 <name>hive.cli.print.header</name>
 	<value>true</value>
 </property>
 <property>
 	<name>hive.cli.print.current.db</name>
 	<value>true</value>
 </property>

在这里插入图片描述

2 参数配置方式

1)查看当前所有的配置信息

hive>set;

2)参数的配置三种方式

1)配置文件方式
默认配置文件:hive-default.xml
用户自定义配置文件:hive-site.xml
注意:用户自定义配置会覆盖默认配置。另外,Hive 也会读入 Hadoop 的配置,因为 Hive
是作为 Hadoop 的客户端启动的,Hive 的配置会覆盖 Hadoop 的配置。配置文件的设定对本
机启动的所有 Hive 进程都有效。

(2)命令行参数方式

启动 Hive 时,可以在命令行添加-hiveconf param=value 来设定参数。

例如:

[root@hadoop2 hive]$ bin/hive -hiveconf mapred.reduce.tasks=10;

注意:仅对本次 hive 启动有效

查看参数设置:

hive (default)> set mapred.reduce.tasks;

(3)参数声明方式
可以在 HQL 中使用 SET 关键字设定参数
例如:

hive (default)> set mapred.reduce.tasks=100;

注意:仅对本次 hive 启动有效。

上述三种设定方式的优先级依次递增。即配置文件<命令行参数<参数声明。注意某些系
统级的参数,例如 log4j 相关的设定,必须用前两种方式设定,因为那些参数的读取在会话
nf mapred.reduce.tasks=10;


*注意:仅对本次 hive 启动有效*

查看参数设置:

```sh
hive (default)> set mapred.reduce.tasks;

(3)参数声明方式
可以在 HQL 中使用 SET 关键字设定参数
例如:

hive (default)> set mapred.reduce.tasks=100;

注意:仅对本次 hive 启动有效。

上述三种设定方式的优先级依次递增。即配置文件<命令行参数<参数声明。注意某些系
统级的参数,例如 log4j 相关的设定,必须用前两种方式设定,因为那些参数的读取在会话
建立以前已经完成了

文章来源:https://blog.csdn.net/tonyshi1989/article/details/135190950
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。