大数据 Spark编程基础（Scala版）-第4章-Spark环境搭建和使用方法.pptVIP

4.4.3 安装Spark 在Master节点上，访问Spark官网下载Spark安装包 sudo tar -zxf ~/下载/spark-2.1.0-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo mv ./spark-2.1.0-bin-without-hadoop/ ./spark sudo chown -R hadoop ./spark 4.4.4 配置环境变量 在Master节点主机的终端中执行如下命令： $ vim ~/.bashrc 在.bashrc添加如下配置： export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin $ source ~/.bashrc 运行source命令使得配置立即生效： 4.4.5 Spark配置 （1）配置slaves文件 将 slaves.template 拷贝到 slaves $ cd /usr/local/spark/ $ cp ./conf/slaves.template ./conf/slaves slaves文件设置Worker节点。编辑slaves内容,把默认内容localhost替换成如下内容： Slave01slave02 4.4.5 Spark配置 （2）配置spark-env.sh文件 将 spark-env.sh.template 拷贝到 spark-env.sh $ cp ./conf/spark-env.sh.template ./conf/spark-env.sh 编辑spark-env.sh,添加如下内容： export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath) export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_MASTER_IP=04 4.4.5 Spark配置 配置好后，将Master主机上的/usr/local/spark文件夹复制到各个节点上在Master主机上执行如下命令： cd /usr/local/ tar -zcf ~/spark.master.tar.gz ./spark cd ~ scp ./spark.master.tar.gz slave01:/home/hadoop scp ./spark.master.tar.gz slave02:/home/hadoop 在slave01,slave02节点上分别执行下面同样的操作： sudo rm -rf /usr/local/spark/ sudo tar -zxf ~/spark.master.tar.gz -C /usr/local sudo chown -R hadoop /usr/local/spark 4.4.6 启动Spark集群 （1）首先启动Hadoop集群。在Master节点主机上运行如下命令： $ cd /usr/local/hadoop/ $ sbin/start-all.sh （2）启动Master节点 在Master节点主机上运行如下命令： $ cd /usr/local/spark/ $ sbin/start-master.sh （3）启动所有Slave节点 在Master节点主机上运行如下命令： $ sbin/start-slaves.sh 4.4.6 启动Spark集群 （4）在浏览器上查看Spark独立集群管理器的集群信息 在Master主机上打开浏览器，访问http://master:8080,如下图： 4.4.7 关闭Spark集群 （1）关闭Master节点 $ sbin/stop-master.sh （2）关闭Worker节点 $ sbin/stop-slaves.sh （3）关闭Hadoop集群 $ cd /usr/local/hadoop/ $ sbin/stop-all.sh 在Master节点上执行下面命令 4.5 在集群上运行Spark应用程序 4.5.1 启动Spark集群 4.5.2 采用独立集群管理器 4.5.3 采用Hadoop YARN管理器 4.5.1 启动Spark集群 请登录Linux系统，打开一个终端启动Hadoop集群 $ cd /usr/local/hadoop/ $ sbin/start-all.sh 启动Spark的Master节点和所有slaves节点 $ cd /usr/local/spark/ $ sbin/start-master.sh $ sb