Centos7安装和配置hadoop2.7.3的流程和总结

发布时间 : 2024/5/14 19:00:37 星期二文章Centos7安装和配置hadoop2.7.3的流程和总结更新完毕开始阅读

dfs.replication 1

dfs.namenode.secondary.http-address master.hadoop:50090

dfs.webhdfs.enabled true

3、配置/home/hadoop/hadoop-2.7.3/etc/hadoop目录下的mapred-site.xml

mapreduce.framework.name yarn true

mapreduce.jobtracker.http.address master.hadoop:50030

mapreduce.jobhistory.address master.hadoop:10020

mapreduce.jobhistory.webapp.address master.hadoop:19888

mapred.job.tracker http://master.hadoop:9001

4、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle

yarn.nodemanager.auxservices.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.address master.hadoop:8032

yarn.resourcemanager.scheduler.address master.hadoop:8030

yarn.resourcemanager.resource-tracker.address

master.hadoop:8031

yarn.resourcemanager.admin.address master.hadoop:8033

yarn.resourcemanager.webapp.address master.hadoop:8088

yarn.resourcemanager.hostname master.hadoop

yarn.nodemanager.resource.memory-mb 2048

提示：yarn.nodemanager.resource.memory-mbr的值一定要注意，在最后的hello world程序运行时，会提示内存太小，（hadoop运行到mapreduce.job: Running job

后停止运行）我把它从1024改成了2048

5、配置/home/hadoop/hadoop-2.7.3/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME

取消注释，设置为export JAVA_HOME=/home/java/jdk1.7.0_79

6、配置/home/hadoop/hadoop-2.7.3/etc/hadoop目录下的slaves，删除默认的localhost，增加2个slave节点:

slave1.hadoop slave2.hadoop

7、将master服务器上配置好的Hadoop复制到各个节点对应位置上，通过scp传送

scp -r /home/hadoop192.168.186.129:/home/ scp -r /home/hadoop 192.168.186.130:/home/

3.6.3 启动hadoop

提示：在master服务器启动hadoop，各从节点会自动启动，进入/home/hadoop/hadoop-2.7.0目录，hadoop的启动和停止都在master服务器上执行。

1) 初始化，在hadoop-2.7.3目录下输入命令，bin/hdfsnamenode –format 2) 启动命令

sbin/start-dfs.sh sbin/start-yarn.sh

3) 输入命令，jps，可以看到相关信息

master上看到

slave上