seatunnel部署遇到的一些问题及总结
环境:
jdk1.8
seatunnel2.3.3
需求:
想实现MYSQL到CLICKHOUSE同步
问题:
问题一:执行seatunnel本地案例提示如下
且在 apache-seatunnel-2.3.3/connectors/seatunnel中存在FakeSource的connector-fake-2.3.3.jar包
原因:缺少包 在安装目录/usr/local/seatunnel/apache-seatunnel-2.3.3/lib下加入如下包(可以通过maven仓库获取)
报错二:Caused by: java.lang.NoSuchMethodError: 'java.lang.String com.mysql.cj.CharsetMapping.getStaticJavaEncodingForMysqlCharset(java.lang.String)
?解决方案:
之前用的mysql驱动mysql-connector-java-8.0.25.jar? 需要升级到? ?mysql-connector-java-8.0.30.jar
问题三:Caused by: org.apache.seatunnel.engine.common.exception.JobDefineCheckException: 'MySQL-CDC' source don't support off-line job
问题四:mysql-cdc不支持离线模式 job.mode = "BATCH",需要改成? job.mode = "STREAMING"
env {
? ? ? ? execution.parallelism = 1
? ? ? ? job.mode = "STREAMING"
? ? ? ? checkpoint.interval = 2000
}
source {
? ? ? ? MySQL-CDC {
? ? ? ? base-url = "jdbc:mysql://192.168.85.128:3307/gisqbpm"
? ? ? ? username = "root"
? ? ? ? password = "wxy123456"
? ? ? ? table-names = ["gisqbpm.test"]
? ?}
}
sink {
? ? ? Clickhouse {
? ? ? ? ? ? ? ? host = "192.168.85.128:8123"
? ? ? ? ? ? ? ? database = "gisqbpm"
? ? ? ? ? ? ? ? table = "test"
? ? ? ? ? ? ? ? username = "default"
? ? ? ? ? ? ? ? password = "wxy123456"
? ? }
}
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!