下为争设置及配置虚拟机的系实施。首先准备5雅微机。

安装 虚拟机(CentOS) 配置服务器间免验证登录

(一) 环境准备

作为搭建Hadoop
相关应用平台的基础工作,先使装及配置linux服务器资源,因条件有限,这里因虚拟机替代实体机,下面为何以设置和部署虚拟机的有关实施

第一准备5雅电脑。我此以的是OpenStack虚拟出来的五台计算机。每个实例安装之系是Ubuntu
12.04.2 LTS,虚拟配置如下:

一、安装vmware workstation与虚机

365体育网站 1 

1、  安装包,可打VM官网下载

 

https://www.vmware.com/cn/products/workstation-pro.html,安装步骤这里虽非开腔了人数,只要找到呼应版本直接设置即可

连锁阅读:

365体育网站 2

Hadoop部署在RedHat
Linux 5上泛错误以及解决方案
http://www.linuxidc.com/Linux/2013-07/87080.htm

2、  安装虚拟机

Ubuntu 13.04上搭建Hadoop环境
http://www.linuxidc.com/Linux/2013-06/86106.htm

下载centos安装包,https://wiki.centos.org/Download,这里用之凡V6.9

Hadoop+ZooKeeper+HBase集群配置
http://www.linuxidc.com/Linux/2013-06/86347.htm

打开workstation,点击“创建新的虚拟机”按钮

(二) 修改机器名

365体育网站 3

打开/etc/hostname文件;

选料安装包,选择下充斥及当地的iso镜像文件

sudo vi/etc/hostname

365体育网站 4

个别改吗hadoop1、hadoop2和hadoop3等等

365体育网站 5

(三) 域名和ip配置

365体育网站 6

设置的IP分别是:

复上述手续,安装3光 Centos服务器

192.168.10.1 hadoop1

365体育网站 7

192.168.10.2 hadoop2

第二、配置网络

192.168.10.3 hadoop3

1、  设置虚拟机网络模式

192.168.10.4 hadoop4

此地自己动用的是NAT模式,虚拟机不用安装好直接上网

192.168.10.5 hadoop5

2、  配置IP地址

然后下vi/etc/hosts修改各个主机的/etc/hosts中的内容,将上面的情节编缉进去。注意:

常规NAT模式并非配置IP由DHCP自动分配,但因为需要基于主机名访问,故还是为各台虚拟机分别配备IP(具体IP可以参照NAT自动分配的IP),可事先经ipconfig看一下要

(1)所有节点都亟待安排成上述情节。如果不布置,此后的工作以运IP操作,比较繁琐。扩展性比较不同。

由此网设置页面配置

(2)需要使用root权限。如果无root权限,可以行使:sudovi
/etc/hosts命令进入编辑。

365体育网站 8

(四) 创建用户,分配权限

3、  网络主要参数设置

(1)先创建hadoop用户组:sudo addgrouphadoop

365体育网站 9

(2)然后创建用户hadoop:sudo adduser-ingroup hadoop hadoop

而外图形界面(简单)操作,也堪透过命令(专业~)来配置 

注:

Vi  /etc/sysconfig/network-scripts/ifcfg-Auto_eth0

(i)当你没root权限的时光,所有的指令可以加上sudo前缀。

365体育网站 10

(ii)在CentOS 和
redhat下直接创造用户就是尽,会自动生成相关的用户组和血脉相通文书,而ubuntu下直接创造用户,创建的用户并未根目录。

4、按照前几乎只步骤配置外2台server

(3)给hadoop用户增长权限,打开/etc/sudoers文件;

5、配置好后,可使用Ping命令验证下

sudo vi /etc/sudoers

其三、设置服务主机名或转变名 、添加用户

照掉车键后哪怕会打开/etc/sudoers文件了,给hadoop用户与root用户同样的权杖。

1、更改hosts文件,这里分别以3光服务服务器上配备主机名也kencent01,02,03

在root ALL=(ALL:ALL) ALL下加加下面的始末:

365体育网站 11

hadoop ALL=(ALL:ALL) ALL

 2、配置network文件

注意:

365体育网站 12

(i)千万不要写错了。这个文件要修改错误,后果严重。这里创办的用户称吧足以免是hadoop,比如ubuntu等还得。ubuntu系统会于/home目录下生成一个坐用户名命名的文本夹。

3、 新添一用户,用于Hadoop应用

(ii)所有虚拟机上,都要采用同一的用户称。

365体育网站 13

(iii)如果没有权力修改/etc/sudoers。可以输入sudovisudo
即可,此命令直接修改该文件,按照提示修改保存与出。

4、给用户安装权限,可以执行root权限操作

(五) 本机(hadoop1)和子节点(son..)安装ssh服务

一般个人用户权限只可以以本home下起完权限,其它目录要赢得他人授权。当得root用户之权能,这时候用sudo化身为root来操作,然而新建的用户并无克使sudo命令,需要给他丰富授权。sudo命令的授权管理是于sudoers文件里之,可以查看sudoer并转。操作前要拿sudoers变为可写,即授权,改好后再撤销授权

重大也ubuntu安装,centos和redhat系统自带。ubuntu下:

365体育网站 14

sudo apt-get installssh
openssh-server

此间自己增加了hadoop用户及时无异行,为了避免每次用一些命令的时候还亟需输入密码,这里要改一下方的配备;

 

365体育网站 15

(六) 建立ssh无密码登录环境

或者给hadoop用户root权限,即进入root组,这个直接点

开就同一步事先率先建议持有的电话机全部易为hadoop用户,以防出现权力问题之搅和。

采取命令 

负有机器执行一下操作:

usermod -g root hadoop

(1)ssh生成密钥有rsa和dsa两栽特别成道,默认情况下用rsa方式。

季、配置免验证登录 

创办ssh-key,这里我们用rsa方式;

1、检查ssh是否健康,ssh本地server

ssh-keygen -t rsa -P “”

365体育网站 16

(注:回车后会见当~/.ssh/下生成稀个文件:id_rsa和id_rsa.pub这有限单文本是成对出现的)

 若报错

(2)切换到~/.ssh/目录下,然后将id_rsa.pub追加到authorized_keys授权文件被,开始是从未authorized_keys文件的;

365体育网站 17

cd ~/.ssh

检查一下,是呼应的劳务没有启动,手机启动

cat id_rsa.pub>>
authorized_keys

365体育网站 18

(3)用root用户登录服务器修改SSH配置文件”/etc/ssh/sshd_config”的下列内容。

安排服务啊打启动

RSAAuthenticationyes

365体育网站 19

PubkeyAuthenticationyes

2、生成密钥

AuthorizedKeysFile
%h/.ssh/authorized_keys

转公钥文件,使用命令 ssh-keygen -t rsa

安装结束以后记得重开SSH服务,才能够而刚刚设置中。(centos里的授命:service
sshd restart)但此处是ubuntu里。输入指令:

ssh-keygen 命令可用来生成ssh公钥认证所待的公钥和私钥文件

/etc/init.d/sshrestart

用 ssh-keygen 时,需先进入 ~/.ssh
目录,若无有,可事先创造(只要尽下ssh命令就见面自动生成,如命ssh
 centos02)

离root登录,使用hadoop普通用户验证是否成功。

365体育网站 20

ssh localhost。

尽方命令后,.ssh下会生成id_rsa (私钥)和 id_rsa.pub (公钥)

如若无不当提示,本地无密码登录就配置成功!

拿公钥文件,导入认证文件

(七) 配置集群无密码登录

365体育网站 21

第一配置Slave节点登录MASTER比较便宜,即hadoop2~hadoop5实现无密码访问Master节点。

3、将公钥 id_rsa.pub文件复制到任何少华server对许目录及

以hadoop2为例子:

365体育网站 22

(1)
远程复制文件”id_rsa.pub”,目标位置是主机hadoop1的用户也”hadoop”的”/home/hadoop/”:

4、分别导入认证文件

scp~/.ssh/id_rsa.pub
hadoop@hadoop1:~/

报到其他少令server上,分别施行cat ~/.ssh/id_rsa.pub >>
~/.ssh/authorized_keys

因并没有成立起无密码连接,所以在连续时,仍然要唤醒输入输入Hadoop1服务器用户hadoop的密码。为了保真正曾将公文传过去了,登录Hadoop1查看”/home/hadoop/”下是否存在这文件。

将要公钥导入认证文件

(2) 把正复制来之Hadoop2的公钥追加到Hadoop1
的授权文件”authorized_keys”中去。

 

cat~/id_rsa.pub >>
~/.ssh/authorized_keys

迄今为止3大centos虚拟机间,可以免验证方式相互登录了

必要的话,使用下发号施令进行追加并修改”authorized_keys”文件权限:

测试下在centos01上去看centos02

chmod
600~/.ssh/authorized_keys

365体育网站 23

记将”/home/hadoop/”目录下的”id365体育网站_rsa.pub”文件去掉。

 

rm –r~/id_rsa.pub

(3)
重复上面的步子把结余的Slave服务器(hadoop3~hadoop5)进行布局。这样,我们就是形成了”配置Slave无密码登录Master”.

(4) 用hadoop用户登录到MASTER节点,就是主机hadoop1。输入指令:

scpauthorized_keys
hadoop@hadoop2:~/.ssh/

各自修改命令中之hadoop2为hadoop3暨hadoop5并执行。此命令是复制主节点authorized_keys到其他依次节点的.ssh目录。

当hadoop1主机,登录其他依次节点。输入指令:

ssh hadoop2

如果登录失败。可能尝试一下几独方法:

a)
删除各个节点的known_hosts,输入指令:rm~/.ssh/known_hosts。再连看看。

b)
如果出现转手谬误提示,注意红色提示。那咱们得以遵循提示,输入指令,比如:

ssh-keygen
-f”/home/ubuntu/.ssh/known_hosts” -R hadoop2

这命令的hadoop2,就是连目标,如果提示给的是 ip地址,就假设输入ip地址。

365体育网站 24 

c)
其实,只要逐项节点都连续成就是好。在hadoop运行过程中,可以运用hadoop-daemon.sh
start datanode 等一声令下动态的用手上节点加入到聚集众多被。

365体育网站 25

相关文章