回顶部

联系方式

0571-89852485

工作日 9:30-18:00

  or  

让我们联系您

在线客服

联系方式

格式不正确
格式不正确
格式不正确
联系方式只能为手机号码或邮箱
格式错误

提交成功

感谢您对网易大数据的支持,我们会尽快与你取得联系

完成

Hadoop分布式集群的搭建

2017-11-15     作者:朱笑笑
本篇文章仅限本站分享,如需转载,请联系网易获取授权。
欢迎技术交流和讨论:bigdata@service.netease.com

        上一篇文章介绍了如何搭建Hadoop伪分布式集群,本篇将向大家介绍下Hadoop分布式集群的搭建。内容浅显,但能够为新手们提供一个参考,让像我一样的小白们对Hadoop的环境能够有一定的了解。

环境:

        系统环境:CentOS7.3.1611 64位

        Java版本:OpenJDK 1.8.0

        使用两个节点作为集群环境:一个作为Master节点,另一个作为Slave节点

集群搭建流程:

        Hadoop集群的安装配置主要流程如下:

        (1)选定一台机器作为Master;

        (2)在Master节点上配置hadoop用户、Java环境及安装SSH server;

        (3)在 Master 节点上安装 Hadoop,完成配置;

        (4)其余机器作为Slave节点,同理,在 Slave 节点上配置 hadoop 用户、Java环境、安装 SSH Server;

        (5)将 Master 节点上的Hadoop安装目录内容复制到其他 Slave 节点上;

        (6)在 Master 节点上开启 Hadoop;

        以上步骤中,配置hadoop用户、Java环境,安装SSH server,安装Hadoop的步骤在《Hadoop单机/伪分布式集群搭建(新手向)》一文中做了比较详细的介绍,大家可以参照此文中的步骤来:http://ks.netease.com/blog?id=8333。

       集群所有的节点都需要位于同一个局域网,因此在完成上述步骤的前4步骤后,先进行以下的网络配置,实现节点间的互连。

网络配置

       本文使用的是VMware虚拟机安装的系统,所以只需要更改网络连接方式为桥接(Bridge)模式,便能实现节点互连。如图:

        配置完成后可以在各个节点上查看节点的ip,Linux中查看节点IP地址的命令为:ifconfig,如下图所示,Master节点的ip为10.240.193.67:

       网络配置完成后,便可进行hadoop分布式集群的配置了。 

       为了能够方便的区分Master和Slave,我们可以修改节点的主机名用以区分。在CentOS7中,我们在Master节点上执行以下命令来修改主机名:

  • sudo vim /etc/hostname

        将主机名修改为Master:

        同理,修改Slave节点的主机名为Slave。

        然后,在Master和Slave节点上都执行如下命令修改IP映射,添加所有节点的IP映射:

  • sudo vim /etc/hosts

        本文中使用的两个节点的名称与对应IP关系如下:

        修改完成后需要重启节点,使得以上配置生效。可以在各个节点上ping其他节点的主机名,若能ping通说明配置成功。

SSH无密码登陆节点

         分布式集群搭建需要Master节点能够无密码SSH登陆至各个Slave节点上。因此,我们需要生成Master节点的公钥,并将Master公钥在Slave节点中加入授权。步骤如下:

     (1)首先生成Master节点的公钥,执行如下命令:

  • cd ~/.ssh --若无该目录,先执行ssh localhost
  • rm ./id_rsa* --若已生成过公钥,则删除原有的公钥
  • ssh-keygen -t rsa --一路回车

         (2)Master节点需能无密码SSH登陆本机,在Master节点上执行命令:

  • cat ./id_rsa.pub >> ./authorized_keys
  • chmod 600 ./authorized_keys

    若不执行修改权限,会出现以下问题,仍无法实现无密码SSH登陆本机。

    完成后,执行ssh Master验证是否可以无密码SSH登陆本机,首次登陆需要输入yes,输入exit即可退出登陆。

         (3)在Master节点将生成的公钥传输至Slave节点,可以执行以下命令:

  • scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/

   上述scp命令远程将Master节点的公钥拷贝至了Slave节点的/home/hadoop目录下,执行过程中会要求输入Slave节点hadoop用户的密码,输入完成后会显示传输的进度:

  (4)在Slave节点上,将Master节点的ssh公钥加入授权,执行命令:

  • ssh localhost --执行该命令是为了生成~/.ssh目录,或者mkdir ~/.ssh创建
  • cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
  • chmod 600 ~/.ssh/authorized_keys

  (5)至此,已经完成 了Master节点无密码SSH登陆到Slave节点的配置。在Master节点上输入命令:ssh Slave 进行验证,登陆成功如下图:

配置hadoop分布式环境

        配置hadoop分布式环境需要修改hadoop中的五个配置文件,分别为:slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。具体的配置项及作用可以参考官网的说明,这里对正常启动分布式集群所必须的配置项进行配置。

        1、slaves

             将作为DataNode节点的主机名写入文件。该文件默认为localhost,因此伪分布配置时,节点是NameNode的同时也是DataNode。localhost可以删除有可以保留。本文Master仅作为NameNode节点,Slave作为DataNode节点,因此删除localhost。

        2、core-site.xml

         3、hdfs-site.xml

               由于只有一个Slave节点,所有dfs.replication的值设为1。

         4、mapred-site.xml

              默认文件名为mapred-site.xml.template,重命名为mapred-site.xml后,修改配置。

        

        5、yarn-site.xml

        配置完成后,将Master上的hadoop文件夹复制到Slave节点上相同路径下(/usr/local/),并修改文件夹的owner为hadoop。

        接着便可启动分布式hadoop集群了,启动集群前需要先关闭集群中每个节点的防火墙,否则会引起DataNode启动了,但Live datanode为0。

启动分布式集群

        首次启动需要先在Master节点执行NameNode的格式化,命令:

  • hdfs namenode -format

        然后启动hadoop,hadoop的启动与关闭需要在Master节点上进行。

        启动hadoop,执行hadoop/sbin中的启动脚本

  • cd /usr/local/hadoop/sbin
  • ./start-dfs.sh
  • ./start-yarn.sh
  • ./mr-jobhistory-daemon.sh start historyserver

        启动完成后,通过jps命令可以查看各个节点所启动的进程。启动正确则可以看到ResourceManager、Namenode、SecondaryNameNode、JobHistoryServer进程,如图。

        在Slave节点中可以看到NodeManager和DataNode进程,如图。

        任一进程缺少都表示启动出错。同时,我们还需要在Master节点通过命令hdfs dfsadmin -report查看DataNode是否正常启动,如果Live datanode为0,则说明启动失败。由于我们只配置了一个DataNode,所以显示Live datanode为1,如图。

        我们还可以通过web页面查看DataNode和NameNode的状态:http://master:50070。

        接着我们便可以执行分布式实例了,我们启动了mr-jobhistory服务,可以通过Web页http://master:8088/cluster,点击Tracking UI中的history查看任务运行信息。

关闭hadoop集群

        在Master节点上执行脚本:

  • stop-yarn.sh
  • stop-dfs.sh
  • mr-jobhistory-daemon.sh stop historyserver