当前位置: 首页 > news >正文

Flink独立集群+Flink整合yarn

Flink独立集群的搭建:

1、上传解压配置环境变量

# 1、解压
tar -xvf flink-1.15.4-bin-scala_2.12.tgz # 2、修改环境变量
export FLINK_HOME=/usr/local/soft/flink-1.15.4
export PATH=$PATH:$FLINK_HOME/bin

2、修改配置文件

cd /usr/local/soft/flink-1.15.4/conf/# 1、flink-conf.yaml
jobmanager.rpc.address: master
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
# taskmanager.host需要在node1和node2中修改
taskmanager.host: node1/node2
taskmanager.numberOfTaskSlots: 4
rest.address: master
rest.bind-address: 0.0.0.0# 2、masters
master:8081# 3、workers
node1
node2

3、同步到所有节点

scp -r flink-1.15.4 node1:`pwd`
scp -r flink-1.15.4 node2:`pwd`# 需要在node1和node2中修改
taskmanager.host: node1/node2

4、启动Flink独立集群

#启动
start-cluster.sh
#停止
stop-cluster.sh
#启动后可访问的页面
http://master:8081

5、提交任务

1、在命令行提交任务

# 1、上传jar包
# 提交任务  flink run -c 主类名 jar包名
flink run -c Demo9Submit flink-1.0.jar

2、在master:8081页面中直接提交

Flink整合yarn:

1、配置hadoop_classpath

# 修改配置文件
vim /etc/profileexport HADOOP_CLASSPATH=`hadoop classpath`source /etc/profile

2、启动hadoop

start-all.sh

3、提交任务

1、application mode

1、在本地看不到详细的错误日志

2、dataflow流程图不在本地构建,在JobManager中构建

3、主要用于和云计算K8S整合用的

4、每个任务单独启动JM和TM,任务直接相互独立,互不影响

flink run-application -t yarn-application -c Demo9Submit flink-1.0.jar# 查看日志
yarn logs -applicationId application_1730969357243_0003

2、per job cluster mode

1、在本地可以看到错误日志

2、在本地构建dataflow流程图

3、每个任务单独启动JM和TM,任务直接相互独立,互不影响

flink run -t yarn-per-job -c Demo9Submit flink-1.0.jar

3、session mode

1、多个任务公用一个JobManager

1、启动session集群
yarn-session.sh -d
2、提交任务
flink run -t yarn-session -Dyarn.application.id=application_1730969357243_0005 -c 
Demo9Submit flink-1.0.jar


http://www.mrgr.cn/news/70680.html

相关文章:

  • 【前端面试系列】JavaScript闭包
  • C#画图板代码
  • 关于Dell r730xd 老服务器的阵列卡 配置系统盘RAID 1
  • go语言 分布式一致
  • 基于LlamaIndex的应用开发中可选择的向量数据库分析
  • 【数据结构】图的应用的时间复杂度
  • MySQL-建表原则和方式
  • C语言中,“extern”关键字的含义与用法
  • [线程池]
  • day62 53.寻宝
  • 【编程概念基础知识】
  • 【数据结构】图的应用的时间复杂度
  • ‌MySQL 5.7和8.0版本在多个方面存在显著区别,主要包括性能优化、新特性引入以及安全性提升
  • 【FF++】FaceForensics++: Learning to Detect Manipulated Facial Images
  • SpringCloud微服务聚合工程创建指南
  • 明日周刊-第27期
  • [CUDA] cuda程序编译注意事项
  • 解码潜意识:如何用Python构建梦境分析模型
  • C#入门 020 事件(类型成员)
  • (05/16) - 萨班斯-奥克斯利法案(SOX)--- 详解SOX法案
  • 【uiautomator】自动化测试camera【一】
  • 简述 synchronized 和 java.util.concurrent.locks.Lock 的异同?
  • Scrapy搭配Selenium爬取豆瓣电影250排行榜动态网页数据
  • Linux中线程的基本概念与线程控制
  • 深⼊理解指针(5)[回调函数、qsort相关知识(qsort可用于各种类型变量的排序)】
  • YOLOv11融合CVPR[2020]自校准卷积SCConv模块及相关改进思路|YOLO改进最简教程