此页面上的内容需要较新版本的 Adobe Flash Player。

获取 Adobe Flash Player

您现在的位置: 智可网 - 新技术 - Hadoop - 正文
Apache Hadoop 2.2.0 HDFS HA + YARN多机部署(2)
教程录入:李隆权    责任编辑:quan 作者:佚名 文章来源:linuxidc
slaves
指定slave机器的host名即可

fairscheduler.XML
下面的例子把把集群资源配置成3个队列,为每个队列配置内存、CPU核、运行程序上限个数、权重等信息。
<?XML version="1.0"?>
<allocations>
 
  <queue name="infrastructure">
    <minResources>5 mb, 1 vcores </minResources>
    <maxResources>60 mb, 1 vcores </maxResources>
    <maxRunningApps>10</maxRunningAPPS>
    <minSharePreemptionTimeout>300</minSharePreemptionTimeout>
    <weight>1.0</weight>
    <aclSubmitApps>root,yarn</aclSubmitAPPS>
  </queue>
 
   <queue name="tool">
      <minResources>5 mb, 1 vcores</minResources>
      <maxResources>10 mb, 1 vcores</maxResources>
   </queue>
 
   <queue name="sentiment">
      <minResources>5 mb, 1 vcores</minResources>
      <maxResources>15 mb, 1 vcores</maxResources>
   </queue>
 
</allocations>
 
第三步:将在一台机器上配好的所有配置文件scp到其它所有节点机器
 
第四步:启动HDFS HA + YARN集群
注意:所有操作均在Hadoop部署目录下进行。
 
启动Hadoop集群:
Step1 :
在各个JournalNode节点上,输入以下命令启动journalnode服务:
sbin/hadoop-daemon.sh start journalnode
 
Step2:
在[nn1]上,对其进行格式化,并启动:
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
 
Step3:
在[nn2]上,同步nn1的元数据信息:
bin/hdfs namenode -bootstrapStandby
 
Step4:
启动[nn2]:
sbin/hadoop-daemon.sh start namenode
 
经过以上四步操作,nn1和nn2均处理standby状态
Step5:
将[nn1]切换为Active
bin/hdfs haadmin -transitionToActive nn1
 
Step6:
在[nn1]上,启动所有datanode
sbin/hadoop-daemons.sh start datanode

下面在RM所在master节点启动YARN:
sbin/start-yarn.sh
 
在运行MRJS的slave1上执行以下命令启动MR JobHistory Server
sbin/mr-jobhistory-daemon.sh start historyserver

至此,HDFS HA + YARN都成功启动完毕,在各个节点输入jps查看进程
 
 
 
也可以用web查看:
HDFS HA界面:
master:50070/dfshealth.JSP
slave1:50070/dfshealth.JSP
 
YARN界面:
master:8088
 

 
第五步:停止集群
在RM和NN所在节点master执行:
先停止yarn
sbin/stop-yarn.sh
再停止hdfs
sbin/stop-dfs.sh
 
在运行JobHistoryServer的slave1上执行:
停止JobHistoryServer
sbin/mr-jobhistory-daemon.sh stop historyserver
 
 
第六步:再次启动
注意,再次启动时,所有的格式化命令都不用执行了!!!
分享
打赏我
打开支付宝"扫一扫" 打开微信"扫一扫"
客户端
"扫一扫"下载智可网App
意见反馈
Apache Hadoop 2.2.0 HDFS HA + YARN多机部署(2)
作者:佚名 来源:linuxidc
slaves
指定slave机器的host名即可

fairscheduler.XML
下面的例子把把集群资源配置成3个队列,为每个队列配置内存、CPU核、运行程序上限个数、权重等信息。
<?XML version="1.0"?>
<allocations>
 
  <queue name="infrastructure">
    <minResources>5 mb, 1 vcores </minResources>
    <maxResources>60 mb, 1 vcores </maxResources>
    <maxRunningApps>10</maxRunningAPPS>
    <minSharePreemptionTimeout>300</minSharePreemptionTimeout>
    <weight>1.0</weight>
    <aclSubmitApps>root,yarn</aclSubmitAPPS>
  </queue>
 
   <queue name="tool">
      <minResources>5 mb, 1 vcores</minResources>
      <maxResources>10 mb, 1 vcores</maxResources>
   </queue>
 
   <queue name="sentiment">
      <minResources>5 mb, 1 vcores</minResources>
      <maxResources>15 mb, 1 vcores</maxResources>
   </queue>
 
</allocations>
 
第三步:将在一台机器上配好的所有配置文件scp到其它所有节点机器
 
第四步:启动HDFS HA + YARN集群
注意:所有操作均在Hadoop部署目录下进行。
 
启动Hadoop集群:
Step1 :
在各个JournalNode节点上,输入以下命令启动journalnode服务:
sbin/hadoop-daemon.sh start journalnode
 
Step2:
在[nn1]上,对其进行格式化,并启动:
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
 
Step3:
在[nn2]上,同步nn1的元数据信息:
bin/hdfs namenode -bootstrapStandby
 
Step4:
启动[nn2]:
sbin/hadoop-daemon.sh start namenode
 
经过以上四步操作,nn1和nn2均处理standby状态
Step5:
将[nn1]切换为Active
bin/hdfs haadmin -transitionToActive nn1
 
Step6:
在[nn1]上,启动所有datanode
sbin/hadoop-daemons.sh start datanode

下面在RM所在master节点启动YARN:
sbin/start-yarn.sh
 
在运行MRJS的slave1上执行以下命令启动MR JobHistory Server
sbin/mr-jobhistory-daemon.sh start historyserver

至此,HDFS HA + YARN都成功启动完毕,在各个节点输入jps查看进程
 
 
 
也可以用web查看:
HDFS HA界面:
master:50070/dfshealth.JSP
slave1:50070/dfshealth.JSP
 
YARN界面:
master:8088
 

 
第五步:停止集群
在RM和NN所在节点master执行:
先停止yarn
sbin/stop-yarn.sh
再停止hdfs
sbin/stop-dfs.sh
 
在运行JobHistoryServer的slave1上执行:
停止JobHistoryServer
sbin/mr-jobhistory-daemon.sh stop historyserver
 
 
第六步:再次启动
注意,再次启动时,所有的格式化命令都不用执行了!!!