ASW 工作流最佳实践(四):并行多任务处理

作者:
发布于: 2021-6-3
归档于:

标签:Serverless云函数

在数据处理、多媒体文件处理、商品审核、容器运维管理等系统架构中,往往需要并行多路任务处理的场景 。

例如电商商品审核系统,商家每天对商品进行管理更新后,商品数据需要通过商品中台进行一系列的审核操作:如 图片审核、死链检测、商品打标、文本审核、统一类目 等环节。海量更新的商品数据会先投递到 Ckafka,商品中台需要一个能快速处理大量数据,高并发、高吞吐量的数据处理流水线。

利用 ASW 低代码、灵活便捷的特性,通过 ASW + 云函数作为微服务的粘合剂,可快速搭建一个高效可用、易扩展性的微服务架构应用。ASW 凭借云平台和云函数的 HA 特性,可以轻松地无限扩展,具备兼容公有云,私有云,自建服务的融合能力 。

Parallel 节点 & Map 节点

在数据处理流水线中,ASW 工作流的并发能力主要依赖于 Parallel 节点Map 节点

  • Parallel 节点,也称 并行节点。使用该节点可以在工作流中创建并行的任务分支,让多个任务并行执行,大大提升了业务数据处理的效率。
  • Map 节点,也称 循环节点。使用该节点对数组中的每一个元素任务计算,且这些元素计算可以并发执行,大大提升了数据处理的吞吐量。

Map 节点与 Parallel 节点都具有并发处理的能力,两者的区别如下:

操作指引

  1. 登录 应用与编排服务流控制台,点击「新建」,进入创建工作流页面,选择「入门模板 - Parallel 并行」。
  1. 后续的步骤参考《使用 ASW 编排云函数》中介绍的方式,同时可以将分支中的节点替换成需要调用的云函数。

ASW 工作流是一个用来协调分布式任务执行的编排产品,根据腾讯云状态语言定义来编排分布式任务和服务,工作流会按照设定好的顺序可靠地协调执行,将云函数与多个腾讯云服务按步骤进行调度,通过低代码配置,就可以完成开发和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作。

识别下方 👇 二维码,即可加入腾讯云 ASW 交流群。