hadoop3.2.0 伪分布式安装(Ubuntu)

    xiaoxiao2022-07-02  154

    一. 安装jdk

    下载jdk,并修改环境配置:设置JAVA_HOME,CLASSPATH和PATH

    官网:https://www.oracle.com/technetwork/java/javase/downloads/index.html

    $  vim  .bashrc

    应用修改   $ source .bashrc

    修改完成后可以通过 Java -version查看java版本。

    二.配置ssh免密码登录

    安装ssh服务:  $  sudo apt-get install ssh openssh-server

    使用ssh进行无密码验证登录:

    1、创建ssh_key:  $ ssh-keygen -t rsa -P  ' '

    2、将public key加入到authorized_keys中:  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    3、 测试ssh:   $ ssh localhost

     

    三.hadoop安装

    官网:https://hadoop.apache.org/releases.html

    1、解压缩hadoop安装包: tar -zxvf hadoop-2.7.1.tar.gz

    2、修改环境配置,设置HADOOP_HOME、PATH,具体见第一部分配置图。

    应用修改   $ source .bashrc

    3、修改配置文件

    修改hadoop/etc/hadoop中的配置文件

    core-site.xml

     

     

    hdfs-site.xml

     

    需要在home目录下创建文件夹 hdfs-data/name和hdfs-data/data

    4、第一次使用,需格式化hadoop

    $ hdfs namenode -format

    5、启动hadoop

    正常启动时,如上图所示,如果出现关于JAVA_HOME的报错,编辑etc/hadoop/hadoop-env.sh,找到 “export   JAVA_HOME”,然后添加jdk路径即可。

    网页界面:

    NameNode:http://localhost:9870

     

    NameNode:http://localhost:8088

     

    6、hadoop 使用。

    hadoop常用命令:https://www.cnblogs.com/LHWorldBlog/p/8514994.html

    关闭虚拟机前需要关闭hadoop,否则再次使用hadoop时可能出现错误,此时应将hdfs-data/data和hdf-data/name中所有文件清空,并重新格式化hadoop即可(但hadoop回到初始状态)。

    最新回复(0)