此页面上的内容需要较新版本的 Adobe Flash Player。

获取 Adobe Flash Player

您现在的位置: 智可网 - 新技术 - Hadoop - 正文
Hadoop2.0 NN HA(2)
教程录入:李隆权    责任编辑:quan 作者:佚名 文章来源:linuxidc

4.Hadoop的配置文件的修改  (这两个配置文件 请亲 仔细对照的修改和添加)

01.文件coer-site.XML

 <property>
  <name>fs.defaultFS</name>
    <value>hdfs://hadoop-cluster</value>
  <description>这里的值指的是默认的HDFS路径。这里只有一个HDFS集群,在这里指定!该值来自于hdfs-site.XML中的配置</description>
 </property>
 <property>  
  <name>hadoop.tmp.dir</name>  
  <value>/home/kkzhangtao/hadoop-2.2.0/yarn/yarn_data/tmp</value>  
  <description>这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。这里的yarn_data/tmp目录与文件都是自己创建的。</description>
 </property>
 <property>    
  <name>ha.zookeeper.quorum</name>    
  <value>SY-0217:2181,SY-0355:2181,SY-0225:2181</value> 
  <description>这里是ZooKeeper集群的地址和端口。注意,数量一定是奇数</description>
  
 </property>

02.文件hdfs-site.XML

<property>
  <name>dfs.nameservices</name>
   <value>hadoop-cluster</value>
  <description>指定命名空间名称,可随意起名</description>
 </property>
 <property>
  <name>dfs.ha.namenodes.hadoop-cluster</name>
  <value>nn1,nn2</value>
  <description>在命名空间下指定NameNode逻辑名</description>
 </property>

 <property>
  <name>dfs.namenode.rpc-address.hadoop-cluster.nn1</name>
  <value>SY-0217:8020</value>
  <description>为“命名空间名.NameNode逻辑名”配置rpc地址</description>
 </property>

 <property>
  <name>dfs.namenode.rpc-address.hadoop-cluster.nn2</name>
    <value>SY-0355:8020</value>
        <description>为“命名空间名.NameNode逻辑名”配置rpc地址</description>
 </property>
 <property>
  <name>dfs.namenode.http-address.hadoop-cluster.nn1</name>
  <value>SY-0217:50070</value>
    <description>为“命名空间名.NameNode逻辑名”配置http地址</description>
 </property>
 
 <property>
    <name>dfs.namenode.http-address.hadoop-cluster.nn2</name>
    <value>SY-0355:50070</value>
    <description>为“命名空间名.NameNode逻辑名”配置http地址</description>
 </property>
 
 <property>
  <name>dfs.namenode.servicerpc-address.hadoop-cluster.n1</name>
  <value>SY-0217:53310</value>
 </property>
 <property>
  <name>dfs.namenode.servicerpc-address.hadoop-cluster.n2</name>
  <value>SY-0355:53310</value>
 </property>
 <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:///home/kkzhangtao/hadoop-2.2.0/hdfs/name</value>
  <description>配置NameNode元数据存放的路径;</description>
 </property>
 
 <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:///home/kkzhangtao/hadoop-2.2.0/hdfs/data</value>
  <description>配置datanode元数据存放的路径;</description>
 </property>

 <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://SY-0355:8485;SY-0225:8485;SY-0226:8485/journalnode</value>
  <description>
   配置JournalNode,包含三部分:
  1.qjournal是协议,无需修改;
  2.然后就是三台部署JournalNode的主机host/ip:端口,三台机器之间用分号分隔;
  3.最后的hadoop-journal是journalnode的命名空间,可以随意取名。
    </description>
  </property>
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/home/kkzhangtao/hadoop-2.2.0/hdfs/journal/</value>
    <description>journalnode的本地数据存放目录,指定一个路径就够。</description>
  </property>
 <property>
  <name>dfs.ha.automatic-failover.enabled.hadoop-cluster</name>
    <value>true</value>
    <description> 是否自动切换。</description>
 
 </property>

 <property>
  <name>dfs.clIEnt.failover.proxy.provider.hadoop-cluster</name>          
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  <description> 指定hadoop-cluster出故障时,哪个实现类负责执行故障切换</description>
 </property>
 
 <property>    
  <name>dfs.ha.fencing.methods</name>    
  <value>sshfence</value>
  <description> 一旦需要NameNode切换,使用ssh方式进行操作</description>    
 </property>
 <property>    
  <name>dfs.ha.fencing.ssh.private-key-files</name>    
  <value>/home/kkzhangtao/.ssh/id_rsa</value> 
  <description> 如果使用ssh进行故障切换,使用ssh通信时用的密钥存储的位置</description>  
 </property>

 <property>
  <name>dfs.ha.fencing.ssh.connect-timeout</name>
  <value>1000<</value>
  <description>ssh连接超时的最大时间</description>
 </property>

 <property>
  <name>dfs.namenode.handler.count</name>
  <value>8</value>
  <description>为处理datanode节点的进程调用开户的服务线程数量,可以修改</description>

 </property>

03.文件mapred-site.xml 和yarn-site.XML  不用修改 (保持和原来一样)

04.复制到其他各个节点去

采用如下命令:在hadoop_home目录下

scp etc/hadoop/*  kkzhangtao@SY-0355:/home/kkzhangtao/hadoop-2.2.0/etc/hadoop

scp etc/hadoop/*  kkzhangtao@SY-0225:/home/kkzhangtao/hadoop-2.2.0/etc/hadoop

scp etc/hadoop/*  kkzhangtao@SY-0226:/home/kkzhangtao/hadoop-2.2.0/etc/hadoop 

分享
打赏我
打开支付宝"扫一扫" 打开微信"扫一扫"
客户端
"扫一扫"下载智可网App
意见反馈
Hadoop2.0 NN HA(2)
作者:佚名 来源:linuxidc

4.Hadoop的配置文件的修改  (这两个配置文件 请亲 仔细对照的修改和添加)

01.文件coer-site.XML

 <property>
  <name>fs.defaultFS</name>
    <value>hdfs://hadoop-cluster</value>
  <description>这里的值指的是默认的HDFS路径。这里只有一个HDFS集群,在这里指定!该值来自于hdfs-site.XML中的配置</description>
 </property>
 <property>  
  <name>hadoop.tmp.dir</name>  
  <value>/home/kkzhangtao/hadoop-2.2.0/yarn/yarn_data/tmp</value>  
  <description>这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。这里的yarn_data/tmp目录与文件都是自己创建的。</description>
 </property>
 <property>    
  <name>ha.zookeeper.quorum</name>    
  <value>SY-0217:2181,SY-0355:2181,SY-0225:2181</value> 
  <description>这里是ZooKeeper集群的地址和端口。注意,数量一定是奇数</description>
  
 </property>

02.文件hdfs-site.XML

<property>
  <name>dfs.nameservices</name>
   <value>hadoop-cluster</value>
  <description>指定命名空间名称,可随意起名</description>
 </property>
 <property>
  <name>dfs.ha.namenodes.hadoop-cluster</name>
  <value>nn1,nn2</value>
  <description>在命名空间下指定NameNode逻辑名</description>
 </property>

 <property>
  <name>dfs.namenode.rpc-address.hadoop-cluster.nn1</name>
  <value>SY-0217:8020</value>
  <description>为“命名空间名.NameNode逻辑名”配置rpc地址</description>
 </property>

 <property>
  <name>dfs.namenode.rpc-address.hadoop-cluster.nn2</name>
    <value>SY-0355:8020</value>
        <description>为“命名空间名.NameNode逻辑名”配置rpc地址</description>
 </property>
 <property>
  <name>dfs.namenode.http-address.hadoop-cluster.nn1</name>
  <value>SY-0217:50070</value>
    <description>为“命名空间名.NameNode逻辑名”配置http地址</description>
 </property>
 
 <property>
    <name>dfs.namenode.http-address.hadoop-cluster.nn2</name>
    <value>SY-0355:50070</value>
    <description>为“命名空间名.NameNode逻辑名”配置http地址</description>
 </property>
 
 <property>
  <name>dfs.namenode.servicerpc-address.hadoop-cluster.n1</name>
  <value>SY-0217:53310</value>
 </property>
 <property>
  <name>dfs.namenode.servicerpc-address.hadoop-cluster.n2</name>
  <value>SY-0355:53310</value>
 </property>
 <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:///home/kkzhangtao/hadoop-2.2.0/hdfs/name</value>
  <description>配置NameNode元数据存放的路径;</description>
 </property>
 
 <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:///home/kkzhangtao/hadoop-2.2.0/hdfs/data</value>
  <description>配置datanode元数据存放的路径;</description>
 </property>

 <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://SY-0355:8485;SY-0225:8485;SY-0226:8485/journalnode</value>
  <description>
   配置JournalNode,包含三部分:
  1.qjournal是协议,无需修改;
  2.然后就是三台部署JournalNode的主机host/ip:端口,三台机器之间用分号分隔;
  3.最后的hadoop-journal是journalnode的命名空间,可以随意取名。
    </description>
  </property>
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/home/kkzhangtao/hadoop-2.2.0/hdfs/journal/</value>
    <description>journalnode的本地数据存放目录,指定一个路径就够。</description>
  </property>
 <property>
  <name>dfs.ha.automatic-failover.enabled.hadoop-cluster</name>
    <value>true</value>
    <description> 是否自动切换。</description>
 
 </property>

 <property>
  <name>dfs.clIEnt.failover.proxy.provider.hadoop-cluster</name>          
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  <description> 指定hadoop-cluster出故障时,哪个实现类负责执行故障切换</description>
 </property>
 
 <property>    
  <name>dfs.ha.fencing.methods</name>    
  <value>sshfence</value>
  <description> 一旦需要NameNode切换,使用ssh方式进行操作</description>    
 </property>
 <property>    
  <name>dfs.ha.fencing.ssh.private-key-files</name>    
  <value>/home/kkzhangtao/.ssh/id_rsa</value> 
  <description> 如果使用ssh进行故障切换,使用ssh通信时用的密钥存储的位置</description>  
 </property>

 <property>
  <name>dfs.ha.fencing.ssh.connect-timeout</name>
  <value>1000<</value>
  <description>ssh连接超时的最大时间</description>
 </property>

 <property>
  <name>dfs.namenode.handler.count</name>
  <value>8</value>
  <description>为处理datanode节点的进程调用开户的服务线程数量,可以修改</description>

 </property>

03.文件mapred-site.xml 和yarn-site.XML  不用修改 (保持和原来一样)

04.复制到其他各个节点去

采用如下命令:在hadoop_home目录下

scp etc/hadoop/*  kkzhangtao@SY-0355:/home/kkzhangtao/hadoop-2.2.0/etc/hadoop

scp etc/hadoop/*  kkzhangtao@SY-0225:/home/kkzhangtao/hadoop-2.2.0/etc/hadoop

scp etc/hadoop/*  kkzhangtao@SY-0226:/home/kkzhangtao/hadoop-2.2.0/etc/hadoop