Spark中的DAG是指什么
lewis
2020-01-25
22次阅读
在Spark中,DAG(Directed Acyclic Graph)是一个有向无环图,用来表示Spark作业的执行计划。DAG中的节点表示数据的转换操作,而边表示数据的依赖关系。每个节点代表一个RDD(Resilient Distributed Dataset)操作,例如map、filter、reduce等。DAG是按照操作的依赖关系构建的,以确保每个操作在其所有依赖操作完成后才能执行。Spark引擎会根据DAG来优化和执行作业,以提高作业的性能和效率。

发表评论:
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。