flink中如何把DB大表的配置数据加载到内存中对数据流进行增强处理

2023-12-14 22:37:09

背景

在处理flink的数据流时，比如处理商品流时，一般我们从kafka中只拿到了商品id，此时我们需要把商品的其他配置信息比如品牌品类等也拿到，此时就需要关联上外部配置表来达到丰富数据流的目的，如果外部配置表很大，我们如何才能做到加载到内存中并完成丰富数据流的目的呢？

丰富数据流

有两种方式可以实现丰富数据流的效果，一种是把外部配置表所有数据加载到每个TaskManager的内存中，另一种是每个TaskManager只需要加载一部分外部配置表的数据，如下所示：

在这里插入图片描述

总结：

当外部配置表的数据量很大时，我们可以采用每个TaskManager加载一部分数据的方式来达到数据增强的效果，至于每个TaskManager加载多少，取决于算子并行度，并行度越高，每个TaskManager就可以加载越少的数据

文章来源:https://blog.csdn.net/lixia0417mul2/article/details/135004738
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。