Spark

一、Spark 框架概述

1.1 spark是什么

尽管Spark相对于Hadoop而言具有较大优势，但Spark并不能完全替代Hadoop

1. ?在计算层面，Spark相比较MR（MapReduce）有巨大的性能优势，但至今仍有许多计算工具基于MR构架，比如非常成熟的Hive
2. ?Spark仅做计算，而Hadoop生态圈不仅有计算（MR）也有存储（HDFS）和资源管理调度（YARN），HDFS和YARN仍是许多大数据 体系的核心架构

Hadoop的基于进程的计算和Spark基于线程方式优缺点？

1.3?Spark四大特点

• 速度快：其在内存中的运算速度要比Hadoop的MapReduce快100倍，在硬盘中要快10倍。
• 易于使用：支持了包括 Java、Scala、Python 、R和SQL语言在内的多种语
• 通用性强：在 Spark 的基础上，Spark 还提供了包括Spark SQL、Spark Streaming、MLib 及GraphX在内的多个工具库，我们可以在一个应用中无缝地使用这些工具库
• 运行方式：Spark 支持多种运行方式，包括在 Hadoop 和 Mesos 上，也支持 Standalone的独立运行模式，同时也可以运行在云Kubernetes（Spark2.3开始支持）上。

1.4?Spark 框架模块

1.5?Spark的运行模式

① local 本地模式(单机)

本地模式就是以一个独立的进程，通过其内部的多个线程来模拟整个Spark运行时环境
② standalone 独立集群模式

Spark中的各个角色以独立进程的形式存在，并组成Spark集群环境
③ standalone-HA 高可用模式

生产环境使用
基于 standalone 模式，使用 zk 搭建高可用，避免 Master 是有单点故障的。
④ on yarn 集群模式

生产环境使用
好处：计算资源按需伸缩，集群利用率高，共享底层存储，避免数据跨集群迁移。
⑤ on mesos 集群模式

国内使用较少
运行在 mesos 资源管理器框架之上，由 mesos 负责资源管理，Spark 负责任务调度和计算。
⑥ on cloud 集群模式

中小公司未来会更多的使用云服务
比如 AWS 的 EC2，使用这个模式能很方便的访问 Amazon 的 S3。

1.6 架构角色

1.6.1YARN角色回顾

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import java.util.Arrays;
import java.util.List;
public class demo1 {
    public static void main(String[] args) {
        SparkConf conf = new SparkConf()
                .setAppName("MapExample")
                .setMaster("local[*]");
        JavaSparkContext sc = new JavaSparkContext(conf);

        // 创建输入RDD
        JavaRDD<Integer> inputRDD = sc.parallelize(Arrays.asList(1, 2, 3, 4, 5));
        System.out.println(inputRDD.getNumPartitions());

        // 应用map()操作将每个元素加倍
        JavaRDD<Integer> outputRDD = inputRDD.map(x -> x * 2);

        // 打印输出RDD的内容
        List<Integer> outputList = outputRDD.collect();
        for (Integer num : outputList) {
            System.out.println(num);
        }
        // 关闭SparkContext
        sc.close();
    }
}

?

12
2
4
6
8
10