Spark SQL 的partitionBy() 动态分区

在Spark SQL中，`partitionBy()` 动态分区是指根据数据的实际值进行分区，而不是在数据写入时就确定分区的值。动态分区可以通过 `partitionBy` 方法的参数来指定。

`partitionBy()`函数的使用方法如下：

df.write.partitionBy("column1", "column2").mode("overwrite").save("path/to/output")

字段说明：
`df`是待写入的DataFrame，"column1"和"column2"是要作为分区列的列名。通过指定多个列名，可以同时按照这些列的值进行分区。`mode("overwrite")`表示要覆盖已存在的文件或文件夹。最后，`save("path/to/output")`指定了输出路径。

下面是一个示例，展示了如何在 Spark SQL 中实现动态分区：```scala

val df = spark.read.format("csv")
? .option("header", "true")
? .load("path/to/input.csv")

df.write.format("parquet")
? .partitionBy("column1", "column2")
? .option("path", "path/to/output.parquet")
? .option("maxRecordsPerFile", 10000)
? .saveAsTable("my_table")

在上述示例中，首先使用 `spark.read` 方法读取 CSV 文件，并将其加载为 DataFrame。然后，使用 `df.write` 方法将 DataFrame 保存为 Parquet 格式的文件。在保存的过程中，使用 `partitionBy` 方法指定了两个列名，即 "column1" 和 "column2"，这样就会根据这两个列的值进行动态分区。