Spark的资源管理器有哪些选择
Standalone Mode:独立模式,Spark自身启动一个资源管理器,并通过内置的资源调度器来管理资源。
YARN Mode:使用Hadoop的YARN资源管理器来管理Spark作业的资源。
Mesos Mode:使用Apache Mesos资源管理器来管理Spark作业的资源。
Kubernetes Mode:使用Kubernetes容器编排引擎来管理Spark作业的资源。
Local Mode:本地模式,Spark作业在本地机器上运行,不涉及资源管理器。
Amazon EMR Mode:在Amazon EMR上运行Spark作业,由EMR集群托管资源管理。
Databricks Mode:在Databricks平台上运行Spark作业,由Databricks提供资源管理服务。
版权声明
本文仅代表作者观点,不代表米安网络立场。
上一篇:hbase的使用场景有哪些 下一篇:Redis序列化使用XML还是JSON
发表评论:
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。