Spark程序部署模式

Spark Driver程序的运行有两种基本的方式:集群部署模式和客户端部署模式。

(1)集群部署模式,如下图所示。在这种模式下,driver进程作为一个单独的JVM进程运行在集群中,集群负责管理其资源(主要是JVM堆内存)。

(2)客户端部署模式,如下图所示。在这种模式下,driver运行在客户端的JVM进程中,并与受集群管理的executors进行通信。

选择不同的部署模式将影响如何配置Spark和客户端JVM的资源需求。通常我们使用客户端部署式,在这种模式下,我们可以在客户端获取并显示作业执行情况。


《PySpark原理深入与编程实战》