Spark中的优化器是用来做什么的

lewis 5年前 (2020-02-12) 阅读数 8 #网络运维

文章标签 spark

Spark中的优化器是用来优化执行计划，提高查询性能的。它能够根据查询的复杂度和数据分布等因素，选择合适的执行计划，以降低查询的执行时间和资源消耗。优化器通常会考虑各种优化策略，比如谓词下推、投影剪裁、关联消解等，以提高查询的效率。通过优化器的优化，可以使得查询在Spark上的执行更加高效。

本文仅代表作者观点，不代表米安网络立场。

◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。