spark2.4安装

spark admin 26℃ 0评论

这里用root用户安装

配置Java路径:

vim /etc/profile

在最后一行回车加上:

#JAVA

export JAVA_HOME=/home/data/jdk1.7.0_79

export PATH=$PATH:$JAVA_HOME/bin

然后刷新系统配置,检查Java安装情况:

source /etc/profile

java -version

看到这个说明Java环境安装成功。

 

配置Scala环境:

sudo gedit /etc/profile

在最后一行加上:

#SCALA

export SCALA_HOME=/home/data/scala-2.11.7

export PATH=$PATH:$SCALA_HOME/bin

然后刷新系统配置,检查Java安装情况:

source /etc/profile

scala -version

配置Spark环境:

sudo gedit /etc/profile

在最后一行加上:

#SPARK

export SPARK_HOME=/home/data/spark-1.4.0-bin-hadoop2.4

export PATH=$PATH:$SPARK_HOME/bin

然后刷新系统配置:

source /etc/profile

进入spark的conf目录

备份文件:

sudo mv spark-env.sh.template spark-env.sh

然后编辑新建的文件:

sudo gedit spark-env.sh

在文件最下面加入:

export SCALA_HOME=/home/data/scala-2.11.7

export JAVA_HOME=/home/data/jdk1.7.0_79

export SPARK_MASTER_IP=localhost

export SPARK_WORKER_MEMORY=1024m

export master=spark://localhost 7070

最后还应该编辑该目录下的slaves中机器名, 这里先用默认的localhost

运行Spark

启动Spark集群。

进入sbin目录:

cd /soft/spark/sbin

然后在浏览器中访问:localhost:8080

从页面上可以看到一个Worker节点的信息。

我们进入spark的bin目录,使用“spark-shell”控制台

可以做个简单的测试

1+2

输出

3

 

通过访问”http://localhost:4040″,进入spark-shell web控制台页面

新建一个文件夹

mkdir /home/file

新建文件

vim /home/file/test1.txt

输入:

hello world

hello hadoop

pls say hello

然后在Scala命令行输入读取程序:

val readFile = sc.textFile("file:///home/file/test1.txt")

再执行:

readFile.collect

查看spark-shell web控制台

转载请注明:朋克网 » spark2.4安装

喜欢 (0)
发表我的评论
取消评论
表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址