003-90-08【RDD-Transformation】虎跑泉旁人家大闺女小红用GPT学习Spark: filter 和 map

2024-01-10 15:26:54

问:用scala 简单举例说明spark filter 和map 作用

GPT

涉及到Spark中的RDD时,以下是filter和map这两个操作的作用和Scala示例:

1, filter:

作用:根据指定的条件筛选出满足条件的元素,返回一个新的RDD。
示例:

val inputRDD = sc.parallelize(Seq(1, 2, 3, 4, 5))
val filteredRDD = inputRDD.filter(x => x % 2 == 0)

filteredRDD.collect()

输出结果:

Array(2, 4)

上述示例中,我们使用filter操作从原始RDD中筛选出所有偶数。通过指定条件x % 2 == 0,我们保留了所有满足该条件的元素。

2, map:

作用:对RDD中的每个元素应用指定的函数,并返回一个新的RDD,新RDD的元素是应用函数后的结果。
示例:

val inputRDD = sc.parallelize(Seq(1, 2, 3, 4, 5))
val mappedRDD = inputRDD.map(x => x * 2)

mappedRDD.collect()

输出结果:

Array(2, 4, 6, 8, 10)

上述示例中,我们使用map操作将原始RDD中的每个元素都乘以2。通过指定函数x => x * 2,我们将原始RDD中的每个元素都映射为该函数的结果。

文章来源:https://blog.csdn.net/eases_stone/article/details/135502152
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。