Hive-基础介绍

---

前言

本文将介绍HiveQL的概述、数据模型、DDL（Data Definition Language）命令和DML（Data Manipulation Language）命令。同时还会涵盖常用字符串函数、数值函数、日期函数以及聚合函数等内容。

---

一、HiveQL介绍

1. 概述

• Hive是基于Hadoop的数据仓库基础设施，它提供了一种类似于SQL的查询语言称为HiveQL（Hive Query Language）。
• HiveQL是用于处理结构化数据的查询语言，它将SQL查询转换为MapReduce任务，从而实现在Hadoop集群上进行数据分析和处理。
• HiveQL的设计目标是提供一种简单易用的接口，使非专业的数据分析师和开发人员能够利用Hadoop进行数据处理和分析。它的语法类似于SQL，因此熟悉SQL的人可以很容易地上手使用HiveQL。

2. 数据模型

• HiveQL基于表的概念，它将数据组织成表，并支持表的分区和分桶。表由列和行组成，每个列都有一个数据类型。
• Hive支持多种内置数据类型，如整数、字符串、日期等。此外，Hive还支持复杂数据类型，如数组、结构体和映射。
• Hive的数据模型与关系型数据库的数据模型有一些区别。在Hive中，表是逻辑上的概念，数据存储在Hadoop分布式文件系统（HDFS）中的文件中。每个表可以有一个或多个分区，分区是根据表的某个列进行划分的，这样可以提高查询效率。此外，Hive还支持将表按照某个列进行分桶，以进一步提高查询性能。

3. 数据定义语言（DDL）

HiveQL提供了一组数据定义语言（DDL）命令，用于创建、修改和删除表、分区和分桶等数据库对象。

以下是一些常用的DDL命令：

(1) 创建表

使用CREATE TABLE命令创建表，并指定表的列、数据类型和存储格式等信息。

例如：

CREATE TABLE my_table (
  id INT,
  name STRING,
  age INT
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

在上面的示例中，我们创建了一个名为my_table的表，它包含了id、name和age三个列，数据以逗号分隔（默认以制表符\t作为字段分隔符），并以文本文件的形式存储。

(2) 创建分区表

使用CREATE TABLE命令创建分区表，并指定分区列。

例如：

CREATE TABLE my_partitioned_table (
  id INT,
  name STRING,
  age INT
)
PARTITIONED BY (country STRING)
STORED AS PARQUET;

在上面的示例中，我们创建了一个名为my_partitioned_table的分区表，它包含了id、name和age三个列，以及一个分区列country。数据以Parquet格式存储。

(3) 添加分区

使用ALTER TABLE命令添加新的分区。

例如：

ALTER TABLE my_partitioned_table ADD PARTITION (country='USA');

在上面的示例中，我们向my_partitioned_table表添加了一个名为USA的分区。

(4) 删除表

使用DROP TABLE命令删除表。

例如：

DROP TABLE my_table;

在上面的示例中，我们删除了名为my_table的表。

4. 数据操作语言（DML）

HiveQL提供了一组数据操作语言（DML）命令，用于查询和操作表中的数据。以下是一些常用的DML命令：

(1) 插入数据

使用INSERT INTO命令将数据插入表中。

例如：

INSERT INTO my_table (id, name, age) VALUES (1, 'Alice', 25);

在上面的示例中，我们向my_table表插入了一条数据。

(2) 查询数据

使用SELECT命令查询表中的数据。

例如：

SELECT * FROM my_table;

在上面的示例中，我们查询了my_table表中的所有数据。

(3) 更新数据

使用UPDATE命令更新表中的数据。

例如：

UPDATE my_table SET age = 30 WHERE id = 1;

在上面的示例中，我们将my_table表中id为1的记录的age字段更新为30。

(4) 删除数据

使用DELETE命令删除表中的数据。

例如：

DELETE FROM my_table WHERE id = 1;

在上面的示例中，我们删除了my_table表中id为1的记录。

---

二、HiveQL函数

1. 字符串函数

字符串函数在HiveQL中提供了丰富的操作和处理文本数据的功能。以下是一些常用的字符串函数：

1.1 CONCAT

CONCAT 函数用于将多个字符串拼接成一个新的字符串。它可以接受任意数量（至少两个）的参数，并按照参数顺序将它们连接起来。

示例代码：

SELECT CONCAT('Hello', ' ', 'World') AS concatenated_string;
-- 输出结果: Hello World

1.2 SUBSTRING

SUBSTRING 函数用于截取指定位置和长度的子串。它需要三个参数：源字符串、起始位置和要截取子串长度。

示例代码：

SELECT SUBSTRING('Hello World', 7, 5) AS substring_result;
-- 输出结果: World 

1.3 LOWER/UPPER

LOWER 和 UPPER 函数分别将给定字符转换为小写或大写形式。

示例代码：

SELECT LOWER('HELLO') AS lower_case_string;   
--输出 结果 :  	hello 

SELECT UPPER ('world' ) as upper_case_string ;  
--输出 结果 :  	WORLD    

2．数值函数

数值函数可以对数字进行各种计算和转换操作，方便处理数值型数据 。以下是一些常见的数值函数：

2.1 ABS

返回给 定数字 表达 式 （ 或 列） 绝对值 。

示例代码：

SELECT ABS(-10) AS absolute_value;
-- 输出结果: 10 

2.2 ROUND

ROUND 函数用于将数字四舍五入到指定的位数。它接受两个参数：要进行四舍五入的数字表达式（或列）和保留小数点后几位。

示例代码：

SELECT ROUND(3.14159, 2) as rounded_number;  
--输出 结果 :  	3 .14   

2.3 FLOOR

FLOOR 函数返回不大于给定参数表达式（或列）最大整数。

示例代码：

SELECT FLOOR(4.9 ) as floor_number;  
--输出 结果 :  	4    

3. 日期函数

日期函数提供了处理和计算日期类型数据的功能。以下是一些常用的日期函数：

3.1 YEAR

从给定日期中提取年份 。

示例代码:

SELECT YEAR('2021-09-01') AS extracted_year;
-- 输出结果:2021   

3.2 MONTH

从给定日历中提取月份。

示例如下 :

SELECT MONTH ('2021 -09 -01' ) as extracted_month ;
--输出 结 果 ：９     

3.3 DAY

从给定日历中提取天数 。

示例如下 :

SELECT DAY ('2021 -09 -01' )as extracted_day ;    
--输 出结 果 ：１     

4. 聚合函数

聚合函数在HiveQL中用于对数据进行汇总计算，常见的聚合函数包括：

4.1 SUM

SUM 函数用于计算指定列或表达式的总和。

示例代码：

CREATE TABLE sales (
    product_id INT,
    quantity INT,
    price DECIMAL(10,2)
);

INSERT INTO sales VALUES (1,10,100),(2,5 ,200),(1 ,20 ,50 );

SELECT SUM(quantity) as total_quantity FROM sales; 
-- 输出结果: 35  

4.2 AVG

AVG 函数用于计算指定列或表达式的平均值。

示例代码：

SELECT AVG(price) as average_price FROM sales ;
-- 输出结果:116 .67    

4.3 MAX

返回指定列或表达式的最大值。

示例代 码:

SELECT MAX(quantity) as max_quantity FROM sales ;  
--输出 结果 :  	20     

---

总结

HiveQL是Hive的查询语言，它提供了类似于SQL的语法，用于在Hadoop集群上进行数据分析和处理。本文详细介绍了HiveQL的概述、数据模型、DDL和DML命令、数据转换函数。通过学习和使用HiveQL，您可以更方便地利用Hadoop进行大数据处理和分析。

希望通过阅读本文能够对您理解和使用 HiveQL 有所帮助。

参考链接：

• Apache Hive官方文档
• HiveQL语法参考
• HiveQL内置函数参考