Spark SQL将Hive表中的数据写入到MySQL数据库中
2023-12-13 03:55:27
import org.apache.spark.sql.SparkSession
object HiveToMySQL {
def main(args: Array[String]): Unit = {
// 创建SparkSession
val spark = SparkSession.builder()
.appName("HiveToMySQL")
.enableHiveSupport()
.getOrCreate()
// 读取Hive表数据
val hiveDF = spark.table("hive_table_name")
// 写入MySQL表
hiveDF.write
.format("jdbc")
.option("url", "jdbc:mysql://localhost:3306/database_name")
.option("dbtable", "mysql_table_name")
.option("user", "mysql_username")
.option("password", "mysql_password")
.save()
// 关闭SparkSession
spark.stop()
}
}
"hive_table_name"
:Hive表的名称。"jdbc:mysql://localhost:3306/database_name"
:MySQL数据库的连接URL,包括主机名、端口号和数据库名称。"mysql_table_name"
:要写入的MySQL表的名称。"mysql_username"
:MySQL数据库的用户名。"mysql_password"
:MySQL数据库的密码。
确保替换这些参数后,运行代码即可将Hive表中的数据写入到MySQL表中。
文章来源:https://blog.csdn.net/dafsq/article/details/134518027
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!