Dbeaver，Hudi，Hive，Spark，Presto应用问题及解决措施梳理

2023-12-27 12:46:48

近期频繁在mysql源端数据通过底层位Flink的平台进行数据接入至Hudi，过程中出现了一些问题，也通过了其他办法进行解决，现将整个过程的思路进行总结，以供大家共同学习进步。

问题1：基于Dbeaver工具，新建的Hudi表无法进行更新（即表结构，新增字段等）；

解决措施：在Dbeaver中集成spark的包，通过sparkSQL的方式进行Hudi表的新建，解决表无法更新问题。

问题2：新建的Hudi表以及数据接入Hudi后，如何查看数据；

解决措施：在Dbeaver中集成Presto包，通过Presto的方式对Hudi数据及表进行查询。

问题3：基于Flink的平台，当源端数据更新或删除后，通过Hive方式输入时数据无法同步更新显示；

解决措施：在Flink的平台中，通过集成Hudi输入包，解决源端数据更新或删除后，平台未同步更新的问题；

总结：

1.hudi建表：在Dbeaver中使用spark方式（便于表管理）；
2.Dbeaver中数据查询：presto方式（提升查询速度）；
3.基于Flink的平台中数据链接方式：Hudi输入包（平台）； ?

文章来源:https://blog.csdn.net/p1i2n3g4/article/details/135241235
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。