当前位置: 首页 > news >正文

RDD转换算子:【map】

功能:

对RDD中每个元素调用一次参数中的函数,并将每次调用的返回值放入一个新的RDD中(一对一)

语法:

def map(self , f: T -> U ) -> RDD[U]

f:代表参数是一个函数
T:代表RDD中的每个元素
U:代表RDD中每个元素转换的结果

举例:

需求:计算每个元素的立方

原始数据:
1 2 3 4 5 6
目标结果:
1 8 27 64 125 216

如何构造sc对象并创建RDD 参考文章:
【Spark中创建RDD的两种方式】Spark中如何获取sc对象、以及创建RDD的两种方式

# 创建list
list01 = [1,2,3,4,5,6]
# 拿构建出来的sc对象去创建RDD
listRdd = sc.parallelize(list01)
# 使用map算子求每个元素的立方
mapRdd = listRdd.map(lambda x: math.pow(x,3))
# foreach是RDD中的触发算子,用于打印
mapRdd.foreach(lambda x: print(x))

http://www.mrgr.cn/news/65256.html

相关文章:

  • git clone,用https还是ssh
  • 摄影分享网站(源码+数据库+报告)
  • 如何对数据库的表字段加密解密处理?
  • Java学习Day57:碧水金睛兽!(Spring Cloud微服务1.0)
  • 【工具变量】大数据管理机构改革DID(2007-2023年)
  • Android亮屏Job的功耗优化方案
  • 群控系统服务端开发模式-应用开发-文件上传功能开发
  • 小白也能微调大模型:LLaMA-Factory使用心得
  • 小华一级 代理商 HC32F005C6PA-TSSOP20 HC32F005系列
  • Harbor实战:一步步构建Docker私有镜像仓库的权威指南
  • C语言学习,标准库<signal.h>
  • netty之是如何做好服务准备的
  • PMP知识体系
  • 闪存学习_3:闪存SW(软件,software)
  • IMS 注册慢问题分析
  • Throughput
  • 常见的函数求导公式以及复合函数的求导公式
  • Linux命令行速查手册:快速参考与实践
  • 魔改Transformer!9种提速又提效的模型优化方案分享!
  • 【前端基础】盒子模型
  • Python实现Taran算法
  • 个人开发者没有公司或企业信息,如何注册成为商家开发调试小程序,在不同的小程序平台使用企业号的功能,例如:没有商户号,个人怎样接入微信支付?
  • 19种RAG结构
  • 「Mac畅玩鸿蒙与硬件18」鸿蒙UI组件篇8 - 高级动画效果与缓动控制
  • 如何建立一套完善的六西格玛黑带培训体系?
  • java的动态代理