Hadoop 学习第三天之集群安装(下)

xiaoxiao2025-11-11 11

Hadoop 学习之集群安装(下)

1. 将secondaryNameNode和NameNode及JobTracker分开，放在不同的主机上

修改hadoop的配置目录conf下的masters

root@conf#vim master

将secondaryNameNode放在hadoop2上

重新启动服务

2. 将NameNode和JobTracker放在不同的主机上

修改的代价比较大，最好在机器搭建时就规划好

修改nameNode的地址，如下图的红框中的value中的hadoop1为其他机器的即可

修改Jobtracker的地址，但必须在每个从节点都配置为一样的参数

修改后需要在所在节点单独起进程

PS：对于配置文件core-site.xml和mapred-site.xml在所有节点都是相同的内容，所以说要在hadoop集群搭建之时就要规划好，然后复制出从节点时这两个文件就不用修改了

3. 动态增加一个hadoop从节点

3.1 配置新节点的环境，如上的配置步骤：在主节点hadoop1

#vim /usr/local/hadoop/conf/slaves 添加一个节点hadoop1

3.2 在新的节点使用hadoop的hadoop-daemon.sh 分别动态扫描datanote和tasktracker

#hadoop-daemon.sh start datanote

#hadoop-daemon.sh start tasktracker

进程存在，先杀掉该进程

#kill -9 2458

再次执行上面两步

3.3 在主节点hadoop1执行脚本：hadoop dfsadmin –refreshNodes

4. 动态删除一个hadoop从节点

4.1 直接关闭一个从几点

#kill -9 dataNode的进程id

5. Hadoop的安全模式

5.1 安全模式下只可查询，不能增删改

5.2 在集群启动时会有30秒的安全模式时间

5.3 进入安全模式和查看安全模式状态

查询安全模式状态

#hadop dfsadmin –safemode get

进入安全模式

#hadop dfsadmin –safemode enter

离开安全模式

#hadop dfsadmin –safemode leave