【Flink名称解释一】什么是cataLog

2023-12-13 03:34:40

Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。

数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的，例如 Hive Metastore 中的元数据。Catalog 提供了一个统一的API，用于管理元数据，并使其可以从 Table API 和 SQL 查询语句中来访问。

CataLog类型：

  • GenericInMemoryCatalog，GenericInMemoryCatalog?是基于内存实现的 Catalog，所有元数据只在 session 的生命周期内可用。

  • JdbcCatalog?使得用户可以将 Flink 通过 JDBC 协议连接到关系数据库。PostgresCatalog?是当前实现的唯一一种 JDBC Catalog。 参考?JdbcCatalog 文档?获取关于配置 JDBC catalog 的详细信息。

  • HiveCatalog?有两个用途：作为原生 Flink 元数据的持久化存储，以及作为读写现有 Hive 元数据的接口。 Flink 的?Hive 文档?提供了有关设置?HiveCatalog?以及访问现有 Hive 元数据的详细信息。

?注意：Hive Metastore 以小写形式存储所有元数据对象名称。而?GenericInMemoryCatalog?区分大小写。

-----之后补充 如何创建 Flink 表并将其注册到 Catalog?

文章来源:https://blog.csdn.net/qq_33592535/article/details/134961170
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。