第一准备5台统计机,2、  安装虚拟机

设置 虚拟机(CentOS) 配置服务器间免验证登录

(一) 环境准备

作为搭建Hadoop
相关应用平台的功底工作,先要安装与计划linux服务器资源,因条件有限,那里以虚拟机替代实体机,上边为怎么样设置与配置虚拟机的相干推行

率先准备5台统计机。我那里运用的是OpenStack虚拟出来的五台电脑。每个实例安装的系统是Ubuntu
12.04.2 LTS,虚拟配置如下:

一、安装vmware workstation与虚机

图片 1 

1、  安装包,可从VM官网下载

 

https://www.vmware.com/cn/products/workstation-pro.html,安装步骤那里就不讲了人,只要找到相应版本直接设置即可

有关阅读:

图片 2

Hadoop部署在RedHat
Linux 5上大规模错误及缓解方案
http://www.linuxidc.com/Linux/2013-07/87080.htm

2、  安装虚拟机

Ubuntu 13.04上搭建Hadoop环境
http://www.linuxidc.com/Linux/2013-06/86106.htm

下载centos安装包,https://wiki.centos.org/Download,这里用的是V6.9

Hadoop+ZooKeeper+HBase集群配置
http://www.linuxidc.com/Linux/2013-06/86347.htm

开拓workstation,点击“创立新的虚拟机”按钮

(二) 修改机器名

图片 3

打开/etc/hostname文件;

选料安装包,选取下载到本地的iso镜像文件

sudo vi/etc/hostname

图片 4

分别改为hadoop1、hadoop2和hadoop3等等

图片 5

(三) 域名和ip配置

图片 6

设置的IP分别是:

重复上述手续,安装3台 Centos服务器

192.168.10.1 hadoop1

图片 7

192.168.10.2 hadoop2

二、配置互联网

192.168.10.3 hadoop3

1、  设置虚拟机互连网情势

192.168.10.4 hadoop4

此间我使用的是NAT方式,虚拟机不用安装可以直接上网

192.168.10.5 hadoop5

2、  配置IP地址

下一场利用vi/etc/hosts修改各样主机的/etc/hosts中的内容,将下面的始末编缉进去。注意:

例行NAT形式并非配置IP由DHCP自动分配,但因为急需根据主机名访问,故如故给每台虚拟机分别布置IP(具体IP可以参考NAT自动分配的IP),可先通过ipconfig看一下或

(1)所有节点都亟待配备成上述内容。如若不布置,此后的办事将动用IP操作,相比较繁琐。伸张性相比差。

通过网络设置页面配置

(2)需要选取root权限。假诺没有root权限,可以选取:sudovi
/etc/hosts命令进入编辑。

图片 8

(四) 创制用户,分配权限

3、  网络主要参数设置

(1)先创建hadoop用户组:sudo addgrouphadoop

图片 9

(2)然后创制用户hadoop:sudo adduser-ingroup hadoop hadoop

除却图形界面(简单)操作,也可以通过命令(专业~)来配置 

注:

Vi  /etc/sysconfig/network-scripts/ifcfg-Auto_eth0

(i)当您没有root权限的时候,所有的通令可以加上sudo前缀。

图片 10

(ii)在CentOS
redhat下直接开立用户就行,会自动生成相关的用户组和相关文件,而ubuntu下直接开立用户,创立的用户没有根目录。

4、根据前多少个步骤配置别的2台server

(3)给hadoop用户拉长权限,打开/etc/sudoers文件;

5、配置好后,可选取Ping命令验证下

sudo vi /etc/sudoers

三、设置服务主机名或别名 、添加用户

按回车键后就会打开/etc/sudoers文件了,给hadoop用户赋予root用户同样的权力。

1、更改hosts文件,这里分别在3台服务服务器上配备主机名为kencent01,02,03

在root ALL=(ALL:ALL) ALL下添加下边的内容:

图片 11

hadoop ALL=(ALL:ALL) ALL

 2、配置network文件

注意:

图片 12

(i)千万不要写错了。这些文件一旦修改错误,后果严重。那里创办的用户名也可以不是hadoop,比如ubuntu等都能够。ubuntu系统会在/home目录下生成一个以用户名命名的文本夹。

3、 新增一用户,用于Hadoop应用

(ii)所有虚拟机上,都不可以不接纳同样的用户名。

图片 13

(iii)如若没有权限修改/etc/sudoers。可以输入sudovisudo
即可,此命令直接修改该文件,依据提醒修改保存和推出。

4、给用户设置权限,可以举行root权限操作

(五) 本机(hadoop1)和子节点(son..)安装ssh服务

诚如个人用户权限只好在本home下有完整权限,其余目录要取得旁人授权。当必要root用户的权柄,那时候用sudo化身为root来操作,但是新建的用户并不可能选拔sudo命令,需要给他丰裕授权。sudo命令的授权管理是在sudoers文件里的,可以查看sudoer并更改。操作前要将sudoers变为可写,即授权,改好后再撤消授权

重大为ubuntu安装,centos和redhat系统自带。ubuntu下:

图片 14

sudo apt-get installssh
openssh-server

此处我增添了hadoop用户这一行,为了幸免每一次使用一些命令的时候都亟待输入密码,那里须要改一下上面的配备;

 

图片 15

(六) 建立ssh无密码登录环境

或给hadoop用户root权限,即参与root组,这么些间接点

做这一步事先率先提出所有的电话机全体更换为hadoop用户,防止出现权力难题的苦恼。

拔取命令 

具备机器执行一下操作:

usermod -g root hadoop

(1)ssh生成密钥有rsa和dsa三种生成形式,默许意况下使用rsa格局。

四、配置免验证登录 

创办ssh-key,那里大家使用rsa方式;

1、检查ssh是不是正规,ssh本地server

ssh-keygen -t rsa -P “”

图片 16

(注:回车后会在~/.ssh/下生成八个公文:id_rsa和id_rsa.pub那七个文本是成对出现的)

 若报错

(2)切换到~/.ssh/目录下,然后将id_rsa.pub追加到authorized_keys授权文件中,发轫是平素不authorized_keys文件的;

图片 17

cd ~/.ssh

检查一下,是对应的劳动没启动,手机启动

cat id_rsa.pub>>
authorized_keys

图片 18

(3)用root用户登录服务器修改SSH配置文件”/etc/ssh/sshd_config”的下列内容。

布置服务为自启动

RSAAuthenticationyes

图片 19

PubkeyAuthenticationyes

2、生成密钥

AuthorizedKeysFile
%h/.ssh/authorized_keys

转变公钥文件,使用命令 ssh-keygen -t rsa

安装完未来记得重启SSH服务,才能使刚刚设置有效。(centos里的指令:service
sshd restart)但此间是ubuntu里。输入指令:

ssh-keygen 命令可用以生成ssh公钥认证所需的公钥和私钥文件

/etc/init.d/sshrestart

选拔 ssh-keygen 时,需先进入 ~/.ssh
目录,若不存在,可先创制(只要举行下ssh命令就会自动生成,如命令ssh
 centos02)

退出root登录,使用hadoop普通用户验证是还是不是成功。

图片 20

ssh localhost。

推行下面命令后,.ssh下会生成id_rsa (私钥)和 id_rsa.pub (公钥)

万一无不当提醒,本地无密码登录就布局成功!

将公钥文件,导入认证文件

(七) 配置集群无密码登录

图片 21

首先配置Slave节点登录MASTER比较便利,即hadoop2~hadoop5落成无密码访问Master节点。

3、将公钥 id_rsa.pub文件复制到其余两台server对应目录上

以hadoop2为例子:

图片 22

(1)
远程复制文件”id_rsa.pub”,目的地方是主机hadoop1的用户为”hadoop”的”/home/hadoop/”:

4、分别导入认证文件

scp~/.ssh/id_rsa.pub
hadoop@hadoop1:~/

登录其余两台server上,分别执行cat ~/.ssh/id_rsa.pub >>
~/.ssh/authorized_keys

因为并没有建立起无密码连接,所以在连年时,依旧要提醒输入输入Hadoop1服务器用户hadoop的密码。为了有限支撑真正已经把公文传过去了,登录Hadoop1查看”/home/hadoop/”下是不是存在这一个文件。

快要公钥导入认证文件

(2) 把刚复制来的Hadoop2的公钥追加到Hadoop1
的授权文件”authorized_keys”中去。

 

cat~/id_rsa.pub >>
~/.ssh/authorized_keys

迄今截至3台centos虚拟机间,可以防验证格局相互登录了

必备的话,使用上面发号施令举行充实并修改”authorized_keys”文件权限:

测试下在centos01上去访问centos02

chmod
600~/.ssh/authorized_keys

图片 23

记念把”/home/hadoop/”目录下的”id_rsa.pub”文件删除掉。

 

rm –r~/id_rsa.pub

(3)
重复下面的手续把结余的Slave服务器(hadoop3~hadoop5)举行配备。那样,我们就成功了”配置Slave无密码登录Master”.

(4) 用hadoop用户登录到MASTER节点,就是主机hadoop1。输入指令:

scpauthorized_keys
hadoop@hadoop2:~/.ssh/

独家修改命令中的hadoop2为hadoop3到hadoop5并举办。此命令是复制主节点authorized_keys到其余依次节点的.ssh目录。

在hadoop1主机,登录其余依次节点。输入指令:

ssh hadoop2

万一登录战败。可能尝试一下多少个办法:

a)
删除各种节点的known_hosts,输入指令:rm~/.ssh/known_hosts。再连接看看。

b)
如果出现转手荒谬提示,注意黑色提醒。那大家得以遵从提示,输入指令,比如:

ssh-keygen
-f”/home/ubuntu/.ssh/known_hosts” -R hadoop2

此命令的hadoop2,就是接连目标,若是提醒给的是 ip地址,就要输入ip地址。

图片 24 

c)
其实,只要逐项节点曾经再而三成功就足以。在hadoop运行进程中,可以行使hadoop-daemon.sh
start datanode 等一声令下动态的将近日节点插足到集群中。

图片 25

相关文章