Hudi中MOR与COW区别,MOR表新建后ro/rt区别
2023-12-27 18:19:43
近期在频繁与数据湖hudi打交道,将一些心得进行简要总结,供大家参考。
首先,Hudi表可以支持多种数据类型,如
(1)Merge-On-Read(MOR-读时合并);
(2)Copy-On-Write(COW-写时复制);
其次,区别如下:
(1)MOR,写入快,适用于源端数据快速接入ODS层,也就是常说的贴源层的场景;
(2)COW,读取快,适用于从贴源层取数据,经过处理后在存储至标准层的场景;
最后,对MOR方式存储时产生的三种格式进行简要总结。
当hudi表按照MOR格式新建以后,会默认生成3个表,如新建 hudi_os_dev表,则会生成
? ? ? ? 常规类型:hudi_os_dev
? ? ? ? ro类型:hudi_os_dev_ro :主要优化读取性能,适用于读取操作频繁的场景
? ? ? ? ?rt类型:hudi_os_dev_rt:主要优化数据写入和实时同步,适用于需要快速写入和实时数据同步的场景。
? ? ? ? 数据接入后,可使用Dbeaver工具对ro表或rt表进行数据查询。
文章来源:https://blog.csdn.net/p1i2n3g4/article/details/135239819
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。 如若内容造成侵权/违法违规/事实不符,请联系我的编程经验分享网邮箱:veading@qq.com进行投诉反馈,一经查实,立即删除!