【Spark】win10系统下基本环境配置

    xiaoxiao2024-12-04  56

    文章目录

    基本环境配置jdk安装与环境变量配置Spark安装与环境变量配置Hadoop安装与环境变量配置 end

    基本环境配置

    每一天都有新发现。 接触新技术内容,就要为其配置相应所需的环境,我的电脑装的是win10系统,所以基本环境配置介绍如何在win10系统下完成spark基本环境配置。

    jdk安装与环境变量配置

    首先要下载完成,才能继续安装。下载地址如下: https://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html 先安装jdk,再是jre,两者置于同一个java文件夹中的两个不同文件夹下。 我装的都是 1.8.0 的:

    右键此电脑 ,单击属性,找到高级系统设置点击,单击环境变量;系统变量 ,新建变量名为JAVA_HOME,变量值为jdk的安装目录,点击确定; 系统变量 ,找到变量名为Path,编辑加入变量值为**%JAVA_HOME%\bin和%JAVA_HOME%\jre\bin**,点击确定; 系统变量 ,新建变量名为CLASSPATH,变量值为**.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar**,点击确定; 5.验证成功,windows+R,打开cmd,键入java -version,显示版本信息即为配置成功。

    Spark安装与环境变量配置

    Spark安装包下载地址: http://spark.apache.org/downloads.html windows系统下,Spark不可置于带有空格的文件夹下。(用到的jdk所在目录文件夹也不能有空格) 下载完成后解压缩,没有**.tgz**后缀。

    右键此电脑 ,单击属性,找到高级系统设置点击,单击环境变量;系统变量 ,新建变量名为SPARK_HOME,变量值为解压后文件路径,点击确定; 系统变量 ,找到变量名为Path,编辑加入变量值为**%SPARK_HOME%\bin**,点击确定; 4.验证成功,windows+R,打开cmd,键入spark-shell,显示大大的Spark即为配置成功。(但如果没有安装Hadoop,会有异常报错)

    Hadoop安装与环境变量配置

    Hadoop安装包下载地址: https://hadoop.apache.org/releases.html (我下载的是2.7.7,据说稳定,反正也不懂,就这样下载了~) 解压缩,放到个人指定目录文件夹下。

    右键此电脑 ,单击属性,找到高级系统设置点击,单击环境变量;系统变量 ,新建变量名为HADOOP_HOME,变量值为解压后文件路径,点击确定; 系统变量 ,找到变量名为Path,编辑加入变量值为**%HADOOP_HOME%\bin**,点击确定; 4.winutils下载,因为我们要用在windows系统下,所以要替换Hadoop本身的bin目录文件,winutils下载地址: https://github.com/steveloughran/winutils 找到对应版本的bin目录文件下载,直接替换本地的bin目录文件。(我下载的是hadoop2.8.1) 直接替换原来的bin目录文件 5.验证成功,windows+R,打开cmd,键入spark-shell,显示大大的Spark且不会出现异常提示即为配置成功。 没有成串报信息是因为修改了conf目录下的日志文件。 conf目录下创建一个名为log4j.properties的文件来管理日志设置。在conf目录下会发现有日志设置文件的模板,后缀为**.template**,复制该文件进行设置修改: 将INFO,改为WARN,完成!

    end

    仅以本博客记录Spark初体验,基本环境配置get~

    最新回复(0)