备赛笔记——2024全国职业院校技能大赛“大数据应用开发”赛项——任务2：离线数据处理

任务书

软件名称	版本
ubuntu	18.04 ???64 位
Hadoop：hadoop-3.1.3.tar.gz	3.1.3
Jdk：jdk-8u212-linux-x64.tar.gz	1.8
Spark：spark-3.1.1-bin-hadoop3.2.tgz	3.1.1
Hive：apache-hive-3.1.2-bin.tar.gz	3.1.2
MySQL	5.7
Scala：scala-2.12.x.tgz	2.12
Vue.js	3.2
ECharts	5.1
JDBC驱动： ??mysql-connector-java-5.1.37.jar
集成开发工具：IDEA 2022 社区版

子任务一：(解压到的路径千万不要出现中文！！！小北第一次做到一半最后一步安装的时候才发现！！！浪费了很多时间！！！）

将下发的ds_db01.sql数据库文件放置mysql中

12、编写Scala代码，使用Spark将MySQL的ds_db01库中表user_info的全量数据抽取到Hive的ods库中表user_info。字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）。使用hive cli执行show partitions ods.user_info命令，将结果截图粘贴至答案表.docx中对应的任务序号下；

一、前言

MySQL5.7的下载安装与Navicat配置:

二、下载步骤

下载地址：MySQLhttps://www.mysql.com/

温馨提示：

首页滑到最下面，选择Downloads下的MySQL Community server

点击查看下载历史版本

可手动选择历史版本

点击【No thanks，just start my download】不登录直接下载，等待一会有下载弹窗。如果有（Oracle账户选择直接登录，没有的话点击右侧注册一个）

点击【保存】就好，然后开始下载

zip格式是直接解压，解压缩之后其实MySQL就可以使用了，但是要进行环境变量配置zip格式是自己解压。

(解压到的路径千万不要出现中文！！！小北第一次做到一半最后一步安装的时候才发现！！！浪费了很多时间！！！）

（下载完毕后将文件解压到你想保存到的盘和目录内。我是将文件解压到D:\ProgramData\mysql-5.7.44-winx64目录下面）

以上就完成了下载的全部工作。

三、配置环境变量

1、右键此电脑->属性—>高级系统设置—>环境变量—>系统变量

点击系统变量中的path，编辑

点击新建，添加

（麻烦一点的话[不建议]——其实也可以一开始直接新建）

1、点击新建，变量名为：MYSQL_HOME，添加你的mysql-5.7.27-winx64文件夹所在位置。我的是在D:\ProgramData\mysql-5.7.44-winx64）

2、复制%MYSQL_HOME%\bin到原有值的后面

（不建议，很麻烦）

?

my.ini文件的内容为：如果安装目录不一样，记得修改MySQL的安装路径

环境配置结束后别直接退出，请记得一定要一个一个“确定”！！！

我的mysql bin文件夹的路径 ：D:\ProgramData\mysql-5.7.44-winx64

2.配置存放数据库数据文件（配置my.ini文件）

配置完环境变量之后，在D:\ProgramData\mysql-5.7.44-winx64目录下配置文件mys.ini 中，修改安装路径，并添加存放数据的data文件夹路径。在bin的同级目录下切记不要手动创建data文件夹，第一次启动后会自动创建，手动创建会报错。

新建一个“.txt”文件，改后缀名为"my.ini"，直接确定！！！

(不用的话可以直接跳过）用notepad注意修改其中的文件夹所在路径。

不要自己创建data！不要自己创建！不要自己创建！系统会自动创建，自己创建会报错。

上述图片中的配置文件内容，可从下方复制，记得修改安装目录

[mysql]
# 设置mysql客户端默认字符集
default-character-set=utf8
 
[mysqld]
# 设置3306端口
port = 3306
# 设置mysql的安装目录
basedir=D:\ProgramData\mysql-5.7.44-winx64
# 设置 mysql数据库的数据的存放目录，MySQL 8+ 不需要以下配置，系统自己生成即可，否则有可能报错
datadir=D:\ProgramData\mysql-5.7.44-winx64\data
# 允许最大连接数
max_connections=1000
# 服务端使用的字符集默认为8比特编码的latin1字符集
character-set-server=utf8
# 创建新表时将使用的默认存储引擎
default-storage-engine=INNODB

?修改内容如下：

# 设置mysql的安装目录
basedir=D:\ProgramData\mysql-5.7.44-winx64

# 设置mysql数据库的数据的存放目录
datadir=D:\ProgramData\mysql-5.7.44-winx64

完整安装过程如下，管理员权限运行cmd，运行命令：

完整的安装命令如下：

mysqld --initialize-insecure --user=mysql

mysqld install

net start mysql

mysql -u root -p

mysqladmin -u root -p password root

熟悉复习下mysql的相关命令：

1、初始化data目录
? ? ? ? mysqld --initialize（随机密码）
? ? ? ? mysqld --initialize-insecure（无密码）
2、经过初始化data重置目录，注意my.ini先配置好，mysqld -remove重新安装下，再次运行

? ? ? ? net start mysql
3、3306端口被占用
? ? ? ? mysqld --console 可以查看报错信息
? ? ? ? netstat -ano 看看是端口是否被占用 ? ? ?#netstat -aon|findstr “3306”
? ? ? ? 若被占用，PID结束进程，再试试看
4、本地host指向问题
? ? ? ? C:\Windows\System32\drivers\etc\hosts
? ? ? ? 查看下本地host是否指向其他域名，如127.0.0.1是否指向localhost

(不用的话可以直接跳过——跳的这一步）

?（正常步骤：my.ini文件的内容为：如果安装目录不一样，记得修改MySQL的安装路径。）

[mysqld]
#端口号
port = 3306
#mysql-5.7.44-winx64的路径
basedir=D:\ProgramData\mysql-5.7.44-winx64
#mysql-5.7.44-winx64的路径+\data
datadir=D:\ProgramData\mysql-5.7.44-winx64\data 
#最大连接数
max_connections=200
#编码
character-set-server=utf8
 
default-storage-engine=INNODB
 
sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES
 
[mysql]
#编码
default-character-set=utf8 
 

创建完成后进入下一步。

4.安装MySQL

（1）在输入框内输入cmd，以管理员的身份运行，注意这里一定一定一定要以管理员的身份运行，否则在安装过程中会出现因为管理权限不够而导致的Install/Remove of the Service Denied!（安装/卸载服务被拒绝），这一点非常重要！

错误示范：（"Win"+"cmd"打开命令提示符窗口是不行的）

正确步骤：

（2）在cmd中进入到D:\ProgramData\mysql-5.7.44-winx64\bin目录下:

输入安装命令：mysqld? -install，若出现Service successfully installed，证明安装成功；如出现Install of the Service Denied，则说明没有以管理员权限来运行cmd：

然后继续输入命令：mysqld? --initialize，此时不会有任何提示：

再输入启动命令：net start mysql，出现以下提示证明MySQL启动成功：

（在配置环境的过程中我也遇到了很多问题，并做了一些总结）

1.执行net start mysql时发生报错，报错提示：
发生系统错误 2。
系统找不到指定的文件。

解决方法：（此方法为通用方法，不一定能解决所有关于这个报错的问题）
1.进入mysql文件夹中bin里（使用管理员权限）
2.执行mysqld remove
3.执行mysqld install
4.执行net start mysql

2、在执行?mysqld --initialize时候

[ERROR] --initialize specified but the data directory has files in it. Aborting.

解决方法：[错误]--指定了初始化，但数据目录中有文件。正在中止

清除掉?数据文件。

对应的目录 ：D:\ProgramData\mysql-5.7.44-winx64\data

查看现在目录内容：

把这些都删除掉。

然后重新执行：

mysqld --initialize

可以正常执行了。

3、cmd运行net start mysql
报错：
发生系统错误193 *** 不是有效的 Win32 应用程序。

解决方法：删除bin目录下0KB的mysqld文件

MySQL启动！!? !

13、编写Scala代码，使用Spark将MySQL的ds_db01库中表sku_info的全量数据抽取到Hive的ods库中表sku_info。字段名称、类型不变，同时添加静态分区，分区字段为etl_date，类型为String，且值为当前日期的前一天日期（分区字段格式为yyyyMMdd）。使用hive cli执行show partitions ods.sku_info命令，将结果截图粘贴至答案表.docx中对应的任务序号下；