发布时间 : 星期二 文章Centos7安装和配置hadoop2.7.3的流程和总结更新完毕开始阅读
CentOS7安装Hadoop2.7.3完整流程及总结
一、前言
配置一台master服务器，两台（或多台）slave服务器，master可以无密码SSH登录到slave。卸载centos7自带的openjdk,通过SecureCRT的rz命令上传jdk-7u79-linux-x64.tar.gz文件到服务器,解压安装JDK，解压安装Hadoop，配置hadoop的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件。配置好之后启动hadoope服务，用jps命令查看状态。再运行hadoop自带的wordcount程序做一个Hello World实例。
二、准备工作
我的系统：
windows 10 家庭普通中文版 cpu:intel i5 2.2GHz
内存：8G 64位操作系统
需要准备的软件和文件（全部是64位安装包） 1. 虚拟机：VMware 12 Pro12.5.2
2. Centos7官网下载：https://www.centos.org/download/选择DVD ISO(标准
版)http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1511.iso
3. JDK 1.7及以上，官网下载：jdk-7u79-linux-x64.tar.gz
4. Hadoop 2.7.3下载地址：
http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
5. SecureCRT version 7.2.3
三、安装过程
提示：先创建一台虚拟机,安装好centos7系统，使用VMware 的克隆功能，克隆另外两台虚拟机。这样可以节省时间。
3.1虚拟机设置
当三台虚拟机安装好之后，获得它们的IP地址,并设置主机名，（根据实际IP地址和主机名）修改/etc/hosts文件内容为： 192.168.186.128master.hadoop 192.168.186.129 slave1.hadoop 192.168.186.130 slave2.hadoop
1、vi /etc/hosts命令修改，然后保存（vi的相关命令见引用来源16）
2、more /etc/hosts查看
3、重启后，hosts生效。命令：reboot now
3.2 SSH免密码登录
提示：我全程用的都是root用户，没有另外创建用户。每台服务器都生成公钥，再合并到authorized_keys。
1) CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注
释，每台服务器都要设置， #RSAAuthentication yes #PubkeyAuthentication yes
2) 输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就
会生成.ssh文件夹，每台服务器都要设置，
3) 合并公钥到authorized_keys文件，在master服务器，进入/root/.ssh目录，
通过SSH命令合并，（~/.ssh/id_rsa.pub 是省略的写法，要根据实际路径来确定）
cat id_rsa.pub>>authorized_keys
ssh root@192.168.186.129 cat ~/.ssh/id_rsa.pub>>authorized_keys ssh root@192.168.186.130 cat ~/.ssh/id_rsa.pub>>authorized_keys
4) 把master服务器的authorized_keys、known_hosts复制到slave服务器的
/root/.ssh目录
scp -r /root/.ssh/authorized_keysroot@192.168.186.129:/root/.ssh/ scp -r /root/.ssh/known_hostsroot@192.168.186.129:/root/.ssh/
scp -r /root/.ssh/authorized_keysroot@192.168.186.130:/root/.ssh/ scp -r /root/.ssh/known_hostsroot@192.168.186.130:/root/.ssh/
5) 完成后，ssh root@192.168.186.129、ssh root@192.168.186.130或者
(sshroot@slave1.hadoop、sshroot@slave2.hadoop ) 就不需要输入密码直接登录到其他节点上。
3.4 Secure CRT连接虚拟机
1、在VMware中把三台虚拟机启动，如下图所示：