此页面上的内容需要较新版本的 Adobe Flash Player。

获取 Adobe Flash Player

您现在的位置: 智可网 - 新技术 - Hadoop - 正文
Hadoop 动态增删节点
教程录入:李隆权    责任编辑:quan 作者:佚名 文章来源:656463

Hadoop增加节点:

新节点正常安装hadoop copy过来就行了,建立相关目录

然后在新节点上运行

./hadoop-daemon.sh start datanode

./hadoop-daemon.sh start tasktracker

然后在namenode上运行hadoop balance

(在数据平衡的时候,注意传输块大少的选择)

删除节点(整个过程要把数据的录入和删除任务停止):

1. 把需要删除的节点填入一个文件 echo "192.168.239.71" > /data/hadoop-0.20.2/conf/excludes

2. 在主节点的core-site.XML配置文件中添加如下内容:

<property>

<name>dfs.hosts.exclude</name>

<value>/data/hadoop-0.20.2/conf/excludes</value>

</property>

说明

dfs.hosts.exclude:指要删除的节点

/data/hadoop-0.20.2/conf/excludes:指定要被删除文件所在路径及名称,该处定义为excludes

3. 运行命令使其生效

hadoop dfsadmin -refreshNodes

该命令可以动态刷新dfs.hosts和dfs.hosts.exclude配置,无需重启NameNode。节点删除后,节点的tasktracker还是在运行中,需手动删除。

./hadoop-daemon.sh stop datanode

hadoop dfsadmin -report查看结果,如下

Name: 192.168.239.71:50010

Decommission Status : Decommissioned

Configured Capacity: 0 (0 KB)

DFS Used: 0 (0 KB)

Non DFS Used: 0 (0 KB)

DFS Remaining: 0(0 KB)

DFS Used%: 100%

DFS Remaining%: 0%

Last contact: Thu Jan 01 08:00:00 CST 1970

如果Status为 Decommissione in process则表现数据还在平衡,这时候请不要运行数据录入或剔除机器。

分享
打赏我
打开支付宝"扫一扫" 打开微信"扫一扫"
客户端
"扫一扫"下载智可网App
意见反馈
Hadoop 动态增删节点
作者:佚名 来源:656463

Hadoop增加节点:

新节点正常安装hadoop copy过来就行了,建立相关目录

然后在新节点上运行

./hadoop-daemon.sh start datanode

./hadoop-daemon.sh start tasktracker

然后在namenode上运行hadoop balance

(在数据平衡的时候,注意传输块大少的选择)

删除节点(整个过程要把数据的录入和删除任务停止):

1. 把需要删除的节点填入一个文件 echo "192.168.239.71" > /data/hadoop-0.20.2/conf/excludes

2. 在主节点的core-site.XML配置文件中添加如下内容:

<property>

<name>dfs.hosts.exclude</name>

<value>/data/hadoop-0.20.2/conf/excludes</value>

</property>

说明

dfs.hosts.exclude:指要删除的节点

/data/hadoop-0.20.2/conf/excludes:指定要被删除文件所在路径及名称,该处定义为excludes

3. 运行命令使其生效

hadoop dfsadmin -refreshNodes

该命令可以动态刷新dfs.hosts和dfs.hosts.exclude配置,无需重启NameNode。节点删除后,节点的tasktracker还是在运行中,需手动删除。

./hadoop-daemon.sh stop datanode

hadoop dfsadmin -report查看结果,如下

Name: 192.168.239.71:50010

Decommission Status : Decommissioned

Configured Capacity: 0 (0 KB)

DFS Used: 0 (0 KB)

Non DFS Used: 0 (0 KB)

DFS Remaining: 0(0 KB)

DFS Used%: 100%

DFS Remaining%: 0%

Last contact: Thu Jan 01 08:00:00 CST 1970

如果Status为 Decommissione in process则表现数据还在平衡,这时候请不要运行数据录入或剔除机器。