DMOZ中文网站分类目录-免费收录各类优秀网站的中文网站目录.
  • DmozDir.org
DMOZ目录快速登录入口-免费收录各类优秀网站的中文网站目录.由人工编辑,并提供网站分类目录检索及地区分类目录检索,是站长免费推广网站的有力平台!

Spark集群搭建(附压缩包安装包)

  • Spark集群搭建(附压缩包安装包)

  • 已被浏览: 29 次2020年09月08日    来源:  https://www.dmozdir.org/
  • Spark集群搭建scala压缩包链接:https://pan.baidu.com/s/1GbeF8ggBrv9ZdHWnHR6m9Q?提取码:w655spark压缩包链接:https://pan.baidu.com/s/1f-cFda5

    Spark集群搭建

    scala压缩包

    链接:https://pan.baidu.com/s/1GbeF8ggBrv9ZdHWnHR6m9Q?
    提取码:w655

    spark压缩包

    链接:https://pan.baidu.com/s/1f-cFda5bqBGuoux_1TPCQA?
    提取码:j0v6

    1. 解压:

    [root@master /]# cd /soft
    [root@master soft]# tar -xzvf scala-2.11.8.tgz 
    [root@master soft]# tar -xzvf spark-3.0.0-preview2-bin-hadoop2.7.tgz 

    ?

    2. 创建软链接

    [root@master soft]# ln -s spark-3.0.0-preview2-bin-hadoop2.7 /soft/spark
    [root@master soft]# ln -s scala-2.11.8 /soft/scala

    ?

    3.配置spark

    [root@master soft]# cd /soft/spark/conf/
    [root@master conf]# mv spark-env.sh.template spark-env.sh
    [root@master conf]# vi spark-env.sh 

    ?

    spark-env.sh 文件添加如下配置

    export JAVA_HOME=/soft/jdk

    export SCALA_HOME=/soft/scala

    export SPARK_MASTER_IP=master

    export SPARK_WORKER_MEMORY=2G

    export HADOOP_CONF_DIR=/soft/hadoop/etc/hadoop

    [root@master conf]# mv slaves.template slaves
    [root@master conf]# vi slaves 

    slaves文件删除localhost,添加如下配置

    master

    slave1

    slave2

    4. 配置环境变量

    [root@master soft]# vi /etc/profile

    添加如下配置:

    export SPARK_HOME=/soft/spark

    export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

    export SCALA_HOME=/soft/spark

    export PATH=$PATH:$SCALA_HOME/bin

    ?

    [root@master soft]# source /etc/profile    #生效

    5. 分发scala、spark到其他集群

    [root@master conf]# scp -r /soft/spark/ root@slave1:/soft/
    [root@master conf]# scp -r /soft/spark/ root@slave2:/soft/
    [root@master conf]# scp -r /soft/scala/ root@slave1:/soft/
    [root@master conf]# scp -r /soft/scala/ root@slave2:/soft/

    ?

    6. 配置其他集群环境变量

    同步骤4

    ?

    7. 启动

    [root@master ~]# start-all.sh       #启动Hadoop
    [root@master ~]# start-master.sh    #启动spark master
    [root@master ~]# start-slaves.sh    #启动spark slaves
    [root@master ~]# jps

    8. 启动spark-shell

    [root@master ~]# spark-shell

    9. 网页验证http://192.168.110.11:8080/

    ?

    ?

    ?


    以上信息来源于网络,如有侵权,请联系站长删除。

    TAG:压缩包 集群 安装包

  • 上一篇:vue 组件
  • 与“Spark集群搭建(附压缩包安装包)”相关的资讯
  • RocketMQ 4.7.1 环境搭建、集群、MQ整合SpringBoot
  • 如何基于Docker快速搭建Elasticsearch集群?
  • Redis集群搭建采坑总结
  • Istio多集群(1)-多控制面
  • 本文介绍如何使用 Docker Swarm 来部署 Nebula Graph 集群,并部署客户端负载均衡和高可用