当前位置: 首页 > news >正文

DAG和Steps

steps:在某些工作流系统中,steps也称作状态机,通常指的是按顺序执行的一系列步骤,每个步骤可以是一个单一的任务或者一组并行执行的任务。在这种模型中,工作流的执行顺序通常是线性的,每个步骤的开始通常依赖于前一个步骤的完成。

DAG:DAG模型中,工作流被定义为一个有向图,其中节点表示任务,边表示任务之间的依赖关系。这种模型允许更复杂的依赖关系,可以轻松地表示任务之间的并行和条件执行。

steps强调顺序性,DAG侧重我依赖什么,dag可以有多个root节点,同层没有依赖关系,可以并发执行,允许最大的并行性。

如果工作流中所有任务的先后顺序已经理清楚了,推荐使用steps,会更简单。

如果工作流很复杂,只知道每个任务之间的依赖关系,那么使用DAG可能更合适。

可以使用dag引擎实现steps能力吗?
最难适配的是steps里面的choice,下一步其实不是确定的(在dag里面next都是同一层级,允许并行),check时,choice左边的steps不能依赖右边的节点结果?运行时,动态删除右边dag的出边及其子边?理论上是可以实现的。都使用dag引擎后期适配其他类型的任务可能会带来更多的适配成本。

我们可以选择设计统一的调度执行层,它能够处理不同类型的任务执行模型。在这个框架中,steps和DAG被视为不同的任务执行模型,框架会根据定义的模型来调度和执行任务。例如,steps交给AWS Step Functions引擎执行,dag交给dag引擎执行。


http://www.mrgr.cn/news/57013.html

相关文章:

  • 深入解析:Linux tcpdump命令在网络流量分析中的实战应用
  • curl支持ssl报错:SSL certificate problem: unable to get local issuer certificate
  • CSS 选择器简单回顾
  • AFFINEQUANT: AFFINE TRANSFORMATION QUANTI ZATION FOR LARGE LANGUAGE MODELS阅读
  • 毕业设计—基于 Inception-ResNet模型的皮肤癌分类系统实现
  • 怎么压缩word文档?给你推荐几个压缩word文档的方法
  • C++ 红黑树
  • 接口测试 —— Postman 变量了解一下!
  • 提高爬虫性能的 5 个关键技巧:从并发到异步执行
  • 【Linux】僵尸进程和孤儿进程
  • 【算法笔记】前缀和算法原理深度剖析(超全详细版)
  • 使用 Cursor 和 Devbox 快速开发并上线 Gin 项目
  • Java 使用 itextpdf 自定义 生成 pdf
  • javascript实现aes算法
  • Ping32:企业级防泄密能力的强大守护者
  • Windows API --- Unicode简介 2.1
  • python--pyQt 单选按钮控件 -QRadioButton
  • Java面试题库——网络编程
  • 洛谷 P3130 [USACO15DEC] Counting Haybale P
  • 科大讯飞AI开发者大赛颁奖典礼,万码优才荣获前三甲!
  • vue项目中pinia和vuex的使用
  • Android 默认去掉URL网络校验,设置不进行网络校验
  • 代码工艺:写代码的好习惯
  • arco-design 自定义table和for循环自定义form-item并添加自定义校验
  • Linux系统基础-进程间通信(4)_模拟实现进程池
  • 智慧楼宇平台,构筑未来智慧城市的基石