Spark作业提交原理

1.6 Spark作业提交原理

Spark作业（任务）提交就是使用spark中spark-sumbit命令将已经封装好成jar包的程序提交到spark集群中执行运行从而得到计算结果的过程，在提交过程中我们对提交的作业（任务）进行参数设置操作

spark提交作业的语法

bin/spark-submit \
--class <main-class>
--master <master-url> \
... # other options
<application-jar> \
[application-arguments]

1.6.1 spark提交作业方式（Standalone模式）

提交Spark提供的利用蒙特·卡罗算法求π的例子，其中100这个参数是计算因子

spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://qianfeng01:7077 \
--executor-memory 512m \
--total-executor-cores 2 \
/usr/local/spark-3.1.2/examples/jars/spark-examples_2.12-3.1.2.jar 100

注意:在启动任务的时候并没有指定分配资源,而是有多少资源就使用了多少资源我们在跑任务的时候是可以指定资源的,可以在指定使用核数和内存资源

1.6.2 spark提交作业方式（YARN-client模式）

提交Spark提供的利用蒙特·卡罗算法求π的例子，其中100这个参数是计算因子

spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--driver-cores 1 \
--driver-memory 600M \
--executor-memory 800M \
--executor-cores 2  \
/usr/local/spark-3.1.2/examples/jars/spark-examples_2.12-3.1.2.jar 100

?
#执行结果如下：

......
2022-08-31 17:04:47,763 INFO scheduler.TaskSetManager: Finished task 99.0 in stage 0.0 (TID 99) in 20 ms on qianfeng02 (executor 2) (100/100)
2022-08-31 17:04:47,764 INFO cluster.YarnScheduler: Removed TaskSet 0.0, whose tasks have all completed, from pool
2022-08-31 17:04:47,766 INFO scheduler.DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:38) finished in 1.464 s
2022-08-31 17:04:47,768 INFO scheduler.DAGScheduler: Job 0 is finished. Cancelling potential speculative or zombie tasks for this job
2022-08-31 17:04:47,768 INFO cluster.YarnScheduler: Killing all running tasks in stage 0: Stage finished
2022-08-31 17:04:47,779 INFO scheduler.DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 1.515996 s
Pi is roughly 3.1420551142055113
2022-08-31 17:04:47,790 INFO server.AbstractConnector: Stopped Spark@3c321bdb{HTTP/1.1, (http/1.1)}{0.0.0.0:4040}
2022-08-31 17:04:47,795 INFO ui.SparkUI: Stopped Spark web UI at http://qianfeng01:4040
......注意:在启动任务的时候并没有指定分配资源,而是有多少资源就使用了多少资源我们在跑任务的时候是可以指定资源的,可以在指定使用核数和内存资源

1.6.3 spark提交作业方式（YARN-Cluster模式）

提交Spark提供的利用蒙特·卡罗算法求π的例子，其中100这个参数是计算因子

spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-cores 1 \
--driver-memory 600M \
--executor-memory 800M \
--executor-cores 2  \
/usr/local/spark-3.1.2/examples/jars/spark-examples_2.12-3.1.2.jar 100

#执行结果
在yarn集群的web ui中对应作业的日志的最底部能看到打印结果。

注意:在启动任务的时候并没有指定分配资源,而是有多少资源就使用了多少资源我们在跑任务的时候是可以指定资源的,可以在指定使用核数和内存资源

1.6.4 YARN-Cluster和YARN-Client的区别

• 理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念：Application Master。在YARN中，每个Application实例都有一个ApplicationMaster进程，它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源，获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARN-Cluster和YARN-Client模式的区别其实就是ApplicationMaster进程的区别

• YARN-Cluster模式下，Driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行，因而YARN-Cluster模式不适合运行交互类型的作业

• YARN-Client模式下，Application Master仅仅向YARN请求Executor，Client会和请求的Container通信来调度他们工作，也就是说Client不能离开

总结：

（1）Yarn-Cluster的Driver是在集群的某一台NM上，但是Yarn-Client就是在Client的机器上； （2）Driver会和Executors进行通信，所以Yarn_Cluster在提交App之后可以关闭Client，而Yarn-Client不可以； （3）Yarn-Cluster适合生产环境，Yarn-Client适合交互和调试。

Guff_hys_python数据结构,大数据开发学习,python实训项目-CSDN博客