RDD转换算子:【map】
功能:
对RDD中每个元素调用一次参数中的函数,并将每次调用的返回值放入一个新的RDD中(一对一)
语法:
def map(self , f: T -> U ) -> RDD[U]
f:代表参数是一个函数
T:代表RDD中的每个元素
U:代表RDD中每个元素转换的结果
举例:
需求:计算每个元素的立方
原始数据:
1 2 3 4 5 6
目标结果:
1 8 27 64 125 216
如何构造sc对象并创建RDD 参考文章:
【Spark中创建RDD的两种方式】Spark中如何获取sc对象、以及创建RDD的两种方式
# 创建list
list01 = [1,2,3,4,5,6]
# 拿构建出来的sc对象去创建RDD
listRdd = sc.parallelize(list01)
# 使用map算子求每个元素的立方
mapRdd = listRdd.map(lambda x: math.pow(x,3))
# foreach是RDD中的触发算子,用于打印
mapRdd.foreach(lambda x: print(x))