Linux 拨号vps windows公众号手机端

请简要介绍一下Spark中的作业和任务的关系

lewis 5年前 (2020-01-14) 阅读数 10 #网络运维
文章标签 spark

在Spark中,作业(Job)是由一组相互关联的任务(Task)组成的。作业是用户提交给Spark的一个完整的计算任务,它通常由多个阶段(Stage)组成,而每个阶段又包含多个任务。任务是作业的最小执行单元,它在集群中的不同节点上并行执行,以实现作业的并行计算。Spark会根据作业的依赖关系和数据分区情况,将作业拆分成多个阶段,并将每个阶段划分为多个任务来执行,从而实现高效的并行计算。因此,作业和任务之间是一种层次关系,任务是作业的基本执行单位,而作业是由多个任务组成的一个大的计算任务。

版权声明

本文仅代表作者观点,不代表米安网络立场。

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

热门