当前位置： 首页 > news >正文

Apache Flink 2.0-preview released

news 2024/10/24 20:45:34

Apache Flink 社区正在积极准备 Flink 2.0，这是自 Flink 1.0 发布 8 年以来的首次大版本发布。作为一个重要的里程碑，Flink 2.0 将引入许多激动人心的功能和改进，以及一些不兼容的破坏性变更。为了促进用户和上下游项目（例如，连接器）尽早适配这些变更，提前尝试这些令人兴奋的新功能同时收集反馈，我们现在提供了 Flink 2.0 的预览版本。

注意: Flink 2.0 预览版不是稳定版本，请不要应用于生产环境。虽然这个预览版包含了 Flink 2.0 中绝大部分影响兼容性的变更，但 2.0 正式版仍可能引入额外的非兼容改动。

非兼容变更

API

以下 API 已被完全移除:

  • DataSet API: 请迁移到 DataStream API, 或 Table API/SQL。 详见 如何从 DataSet 迁移到 DataStream。

  • Scala DataStream 和 DataSet API: 请迁移到 Java DataStream API。

  • SourceFuction, SinkFunction 和 Sink V1: 请迁移到 FLIP-27 Source和 Sink V2。

  • TableSoure 和 TableSink: 请迁移到 DynamicTableSource和 DynamicTableSink. 详见 User-defined Sources & Sinks。

  • TableSchema, TableColumn 和 Types: 请分别迁移到 Schema, Column和 DataTypes。

同时，DataStream API 以及 REST API 中部分废弃的方法和字段也已经被移除。

注意: 您可能会发现一些已移除的 API 仍然存在于代码库中，但被移动到了和原来不同的包路径下。它们现在仅供内部使用，并且可能随时发生更改或移除。请 不要再使用 它们.

连接器适配计划

由于 SourceFunction, SinkFunction 和 SinkV1 API 被移除，依赖这些 API 的现有连接器将无法在 Flink 2.x 版本工作，需要进行针对性适配。以下是具体的适配计划：

  1. Flink 2.0 预览版发布后会尽快发布与之适配的 Kafka 连接器新版本。

  2. JDBC 和 ElasticSearch 连接器将在 Flink 2.0 的正式版本中适配。

  3. 我们计划在接下来的 3 个版本（即截止到 Flink 2.3）中逐步适配剩余的连接器。

配置

符合以下标准的配置项已被移除:

  • 被标注为 @Public 并且已弃用至少2个版本。

  • 被标注为 @PublicEvolving 并且已弃用至少1个版本。

在 Flink 2.x 中，不再支持旧的配置文件 flink-conf.yaml, 请改用符合标准 YAML 格式的 config.yaml。我们提供了一个迁移工具，用于将旧的 flink-conf.yaml 转换为新的 config.yaml。详见 从 flink-conf.yaml 迁移到 config.yaml。

在程序中使用硬编码的方式进行配置会带来诸多弊端，因此 StreamExecutionEnvironment 和 ExecutionConfig 中与配置相关的 API 不再允许直接传入 Java 对象作为参数。你现在应该通过 Configuration 和 ConfigOption 来进行相应的配置。

为了避免暴露过多的内部接口，用户自定义函数(UDF) 不再对 ExecutionConfig 具有完整的访问权限。相应地，你现在可以直接从 RuntimeContext 中访问这些必要的函数，例如 createSerializer(), getGlobalJobParameters() 和 isObjectReuseEnabled()。

其它

  • 1.x 到 2.x 的升级不保证 状态兼容性。

  • 不再支持 Java 8: Java 11 是目前支持的最低 Java 版本。

  • 旧的 Hybrid Shuffle 模式 已经被完全移除。

重要新特性

存算分离状态管理

过去十年间 Flink 的部署模式、工作负载和硬件的架构都发生了很大的改变。我们已经从计算-存储紧密耦合的 map-reduce 时代，进入到了以 Kubernetes 容器化部署为标准的云原生世界。为了 Flink 在云原生时代的未来，我们在 Flink 2.0 中引入了基于远程存储的存算分离状态管理。

存算分离架构的引入使得 Flink 向云原生领域更进一步。新架构主要解决了以下问题：

  1. 容器化环境下计算节点受本地磁盘大小限制的问题

  2. 由于RocksDB中LSM结构的周期性 Compaction 导致计算资源尖峰的问题

  3. 大规模状态快速扩缩容的挑战

  4. 原生的轻量级和快速检查点

受限于 Flink 中现有的阻塞式同步执行模型，仅仅将状态存储扩展到从远程 DFS 读写是不够的。在 Flink 2.0 中，我们提出了异步执行模型，并为此引入了 ForStDB，这是一种分离的状态后端解决方案。

在当前预览版本下，我们使用: NexmarkQ20 完成了一个端到端的示例。 其中包括:

  • 异步化执行：完整的状态异步访问的API，以及检查点支持

  • 异步化SQL Join算子：基于异步化状态 API实现

  • 同步/异步混合式执行：基于混合式SQL Plan，支持同步算子与异步算子在一个作业内共存

  • 性能：在直接写入存算分离后的远端存储的场景下，提供了不错的性能

物化表

在 Flink 1.20 中，我们以最简可行产品(Minimum Viable Product) 的形式引入了物化表功能。物化表是 Flink SQL 中的一种创新型表类型，旨在进一步简化流和批作业的数据处理流程，同时提供统一的开发体验。在即将发布的 Flink 2.0 中，我们正在增强物化表所支持的功能，包括与主流的湖格式进行集成以及生产就绪的调度器实现。

批作业的自适应执行

此外，Flink 正在不断提升其自适应批处理能力。即将发布的 Flink 2.0 将具备基于作业已完成的阶段所提供的信息，对逻辑计划和物理计划进行动态优化的能力。初步支持的策略包括动态应用 Broadcast Join 以及对数据倾斜的 Join 进行优化。

流式湖仓

以 Apache Flink 和 Apache Paimon 的集成为代表的流式湖仓架构将湖仓范式中统一的数据存储、开放格式和成本效益扩展到了实时领域。即将发布的 Flink 2.0 在 Flink 和 Paimon 的集成方面迈出了重要一步：Flink 和 Paimon 社区正在密切合作，充分结合彼此的优势以及核心功能，带来了诸多重要改进，包括但不限于：使用 Paimon 丰富的合并引擎进行 SQL 执行计划优化、大幅提升 Lookup-Join 的性能、支持 Flink 物化表、以及对自适应批处理和推测执行的支持。


http://www.mrgr.cn/news/57836.html

相关文章：

  • Redis——缓存
  • 【LeetCode】每日一题 2024_10_24 找到连续赢 K 场比赛的第一位玩家（模拟/脑筋急转弯）
  • 【Linux】-学习笔记01
  • （成功解决）ubuntu22.04不小心更新成了atzlinux12.7.1，右上角出现红色错误符号
  • Android静态变量中的字段被置空了
  • 伪装成CrowdStrike修复文件的攻击活动分析
  • “2024，我想和 TDengine 谈谈”征文活动获奖名单揭晓！
  • C语言指针，结构体
  • 西南大学的计算机怎么样?
  • 【读书笔记·VLSI电路设计方法解密】问题22：芯片封装有哪些挑战
  • 逻辑回归（Logistic Regression）详解
  • mac-chrome提示您的连接不是私密连接
  • Nginx可视化管理平台nginxWebUI（1）【保姆级部署方式】
  • scrapy案例——读书网列表页和详情页的爬取
  • 2024 年求职不易，有没有什么效率高的求职方法？
  • 细胞器基因组组装
  • Konva 组，层级
  • 顺序表的基本操作
  • 计算字符数、单词数、空格数和行数
  • SQL：Windows下MySQL的安装教程(超详细)
  • 软件测试面试必备—基础知识整理（必备技能）
  • 【C++】C++中的计时、多维数组、排序
  • 《漠风吟》火热收官 实力导演何佳男拓长剧市场展不俗实力
  • 系统架构图设计（轻量级架构）
  • 服务稳定性运维保障体系建设的误区
  • 最近比较火的提示词记录