一. 安装jdk
下载jdk,并修改环境配置:设置JAVA_HOME,CLASSPATH和PATH
官网:https://www.oracle.com/technetwork/java/javase/downloads/index.html
$ vim .bashrc
应用修改 $ source .bashrc
修改完成后可以通过 Java -version查看java版本。
二.配置ssh免密码登录
安装ssh服务: $ sudo apt-get install ssh openssh-server
使用ssh进行无密码验证登录:
1、创建ssh_key: $ ssh-keygen -t rsa -P ' '
2、将public key加入到authorized_keys中: $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3、 测试ssh: $ ssh localhost
三.hadoop安装
官网:https://hadoop.apache.org/releases.html
1、解压缩hadoop安装包: tar -zxvf hadoop-2.7.1.tar.gz
2、修改环境配置,设置HADOOP_HOME、PATH,具体见第一部分配置图。
应用修改 $ source .bashrc
3、修改配置文件
修改hadoop/etc/hadoop中的配置文件
core-site.xml
hdfs-site.xml
需要在home目录下创建文件夹 hdfs-data/name和hdfs-data/data
4、第一次使用,需格式化hadoop
$ hdfs namenode -format
5、启动hadoop
正常启动时,如上图所示,如果出现关于JAVA_HOME的报错,编辑etc/hadoop/hadoop-env.sh,找到 “export JAVA_HOME”,然后添加jdk路径即可。
网页界面:
NameNode:http://localhost:9870
NameNode:http://localhost:8088
6、hadoop 使用。
hadoop常用命令:https://www.cnblogs.com/LHWorldBlog/p/8514994.html
关闭虚拟机前需要关闭hadoop,否则再次使用hadoop时可能出现错误,此时应将hdfs-data/data和hdf-data/name中所有文件清空,并重新格式化hadoop即可(但hadoop回到初始状态)。