Spark安装

Downloads | Apache Spark

拖动安装包 上传虚拟机

# 解压锁环境就安装好能使用
tar -zxvf spark-3.3.1-bin-hadoop3.tgz# 修改文件名称
mv spark-3.3.1-bin-hadoop3 spark-local

1.Local模式 

测试案例：计算圆周率π

# Usage: spark-submit [options] <app jar | python file | R file> [app arguments]

# local表示运行环境，其中[4]表示4个线程执行；10表示运行10次
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[4] \
./examples/jars/spark-examples_2.12-3.3.1.jar \
10

2. Yarn 模式

修改模板配置文件spark.env.sh  添加：YARN_CONF_DIR=/usr/local/hadoop-3.1.3/etc/hadoop/

表示Spark运行的资源由Yarn进行调度，前提要先安装好hadoop

下面是hadoop里面的yarn-site配置的服务（注意域名解析配置）

启动hadoop集群

bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
./examples/jars/spark-examples_2.12-3.3.1.jar \
10