org.apache.seatunnel.shade.com.typesafe.config.ConfigException$Parse

2023-12-15 10:19:50

记录一个seatunnel的踩坑过程，使用环境为hive分区表导入click house中，首先查看官网的文档

在这里插入图片描述

说实话这段注释极其具有误导性，read_partitions = [par1=xxx, par1=yyy/par2=zzz], it is illegal，那么普通人首先第一想法肯定是[par1=xxx, par1=yyy]才是正确的,就和下面这样

source {
  Hive {
    table_name = "aisdata.ship_track_data"
    metastore_uri = "thrift://namenode2:9083"
    read_partitions = [dt="2023-05-01",dt="2023-05-02"]
  }
}

一运行，发现报错
在这里插入图片描述
看见错误代码，肯定是配置的问题，经过排查和网上搜索再加上不断试错，终于找到了正确的配置方法

source {
  Hive {
    table_name = "aisdata.ship_track_data"
    metastore_uri = "thrift://namenode2:9083"
    read_partitions = ["dt=2023-05-01","dt=2023-05-02"]
  }
}

看到这就明白了一个双引号里面是hive分区表的分区文件夹名，回过头才发现忽略了第一段英文Every partition in partitions list should have the same directory depth，瞬间无语

文章来源:https://blog.csdn.net/fs545454/article/details/132746138
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。