此页面上的内容需要较新版本的 Adobe Flash Player。

获取 Adobe Flash Player

您现在的位置: 智可网 - 新技术 - Hadoop - 正文
FreeBSD下安装配置Hadoop集群(二)
教程录入:李隆权    责任编辑:quan 作者:佚名 文章来源:656463
上次说到FreeBSD下搭建伪分布式(见 http://www.linuxidc.com/Linux/2012-02/55100.htm ),很简单,但是 Hadoop集群入门最难的可能就是集群的搭建和配置了,配置文件复杂,概念抽象,我尽可能简单描述真实集群的搭建和配置。

hadoop集群从启动进程上来说,分为四种进程,四种,不是四个。在实际应用中,通常每台服务器只启动两种进程。

首先是主节点和任务跟踪器。以下统称为NameNode和JobTracker

主节点在hadoop中叫namenode。负责管理调度集群的运作,跟随主节点的进程叫做jobtracker,负责计算任务的分派和接收。hadoop之所以可以负责大数据量的运算,主要是因为这个分片的概念。比如一个10G的log文件,放在hdfs上,可能你认为他在hdfs上是一个文件,但实际上,这个文件备份成了N多小块,每块保存在不同服务器的物理硬盘上。计算时,任务被分派到每个数据服务器,每个服务器只运算整个数据中的一部分,假设有10台,那么每台被分配1G数据,每个服务器就只运算1G的数据,并将数据返回给jobtracker,最后提供给用户,这样每个服务器的运算速度就都是10G的1/10。计算结果就会比单台快很多。
那么负责分派任务的就是NameNode和JobTracker,而负责数据计算和存储的,就是DataNode和TaskTracker。

也就是说,集群中可以有一台NameNode+JobTracker,但是可以有N多台DataNode和TaskTracker。

整个Hadoop集群的配置在hadoop根目录的conf/可以找到。看一下NameNode+JobTracker的配置,主要在几个XML文件中。

我在基本每个重要的配置项上都标明了注释。

core-site.XML
<? XML version ="1.0" ?> 
<? XML-stylesheet type ="text/xsl" href ="configuration.xsl" ?> 

<!-- Put site-specific property overrides in this file. --> 

< configuration > 
     < property > 
         < name >fs.default.name </ name > 
         < value >hdfs://hadoopmaster-177.tj:9000 </ value >
<!--定义hdfs namenode的主机名和端口,本机,主机名在/etc/hosts设置--> 
     </ property > 
     < property > 
         < name >io.compression.codecs </ name > 
         < value >org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache 
.hadoop.io.compress.BZip2Codec </ value >
<!--定义hdfs使用压缩--> 
     </ property > 
     < property > 
         < name >io.compression.codec.lzo.class </ name > 
         < value >com.hadoop.compression.lzo.LzoCodec </ value >
<!--定义压缩格式和解码器类--> 
     </ property > 
</ configuration >



hdfs-site.XML
<? XML version ="1.0" ?> 
<? XML-stylesheet type ="text/xsl" href ="configuration.xsl" ?> 

<!-- Put site-specific property overrides in this file. --> 

< configuration > 
     < property > 
         < name >dfs.name.dir </ name > 
         < value >/opt/data/hadoop/hdfs/name,/opt/data/hadoop1/hdfs/name,/opt/data/hadoop2/hdfs/name </ value >
<!--定义hdfs namenode所使用的硬盘路径名称--> 
         < description >     </ description > 
     </ property > 
     < property > 
         < name >dfs.data.dir </ name > 
         < value >/opt/data/hadoop/hdfs/data /opt/data/hadoop1/hdfs/data,/opt/data/hadoop2/hdfs/data </ value >
<!--定义hdfs namenode数据存储的路径--> 
         < description > </ description > 
     </ property > 
     < property > 
         < name >dfs.http.address </ name > 
         < value >hadoopmaster-177.tj:50070 </ value >
<!--定义hdfs http管理端口--> 
     </ property > 
     < property > 
         < name >dfs.secondary.http.address </ name > 
         < value >hadoopslave-189.tj:50090 </ value >
<!--定义备用节点的管理地址--> 
     </ property > 
     < property > 
         < name >dfs.replication </ name > 
         < value >3 </ value >
<!--定义数据的复制份数,份数越多越安全,但速度越慢--> 
     </ property > 
     < property > 
         < name >dfs.datanode.du.reserved </ name > 
         < value >1073741824 </ value >
<!--定义du操作返回--> 
     </ property > 
     < property > 
         < name >dfs.block.size </ name > 
         < value >134217728 </ value >
<!--定义hdfs的存储块大小,默认64M,我用的128M--> 
     </ property > 
     < property > 
         < name >dfs.permissions </ name > 
         < value >false </ value >
<!--权限设置,最好不要--> 
     </ property > 
</ configuration >
分享
打赏我
打开支付宝"扫一扫" 打开微信"扫一扫"
客户端
"扫一扫"下载智可网App
意见反馈
FreeBSD下安装配置Hadoop集群(二)
作者:佚名 来源:656463
上次说到FreeBSD下搭建伪分布式(见 http://www.linuxidc.com/Linux/2012-02/55100.htm ),很简单,但是 Hadoop集群入门最难的可能就是集群的搭建和配置了,配置文件复杂,概念抽象,我尽可能简单描述真实集群的搭建和配置。

hadoop集群从启动进程上来说,分为四种进程,四种,不是四个。在实际应用中,通常每台服务器只启动两种进程。

首先是主节点和任务跟踪器。以下统称为NameNode和JobTracker

主节点在hadoop中叫namenode。负责管理调度集群的运作,跟随主节点的进程叫做jobtracker,负责计算任务的分派和接收。hadoop之所以可以负责大数据量的运算,主要是因为这个分片的概念。比如一个10G的log文件,放在hdfs上,可能你认为他在hdfs上是一个文件,但实际上,这个文件备份成了N多小块,每块保存在不同服务器的物理硬盘上。计算时,任务被分派到每个数据服务器,每个服务器只运算整个数据中的一部分,假设有10台,那么每台被分配1G数据,每个服务器就只运算1G的数据,并将数据返回给jobtracker,最后提供给用户,这样每个服务器的运算速度就都是10G的1/10。计算结果就会比单台快很多。
那么负责分派任务的就是NameNode和JobTracker,而负责数据计算和存储的,就是DataNode和TaskTracker。

也就是说,集群中可以有一台NameNode+JobTracker,但是可以有N多台DataNode和TaskTracker。

整个Hadoop集群的配置在hadoop根目录的conf/可以找到。看一下NameNode+JobTracker的配置,主要在几个XML文件中。

我在基本每个重要的配置项上都标明了注释。

core-site.XML
<? XML version ="1.0" ?> 
<? XML-stylesheet type ="text/xsl" href ="configuration.xsl" ?> 

<!-- Put site-specific property overrides in this file. --> 

< configuration > 
     < property > 
         < name >fs.default.name </ name > 
         < value >hdfs://hadoopmaster-177.tj:9000 </ value >
<!--定义hdfs namenode的主机名和端口,本机,主机名在/etc/hosts设置--> 
     </ property > 
     < property > 
         < name >io.compression.codecs </ name > 
         < value >org.apache.hadoop.io.compress.DefaultCodec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache 
.hadoop.io.compress.BZip2Codec </ value >
<!--定义hdfs使用压缩--> 
     </ property > 
     < property > 
         < name >io.compression.codec.lzo.class </ name > 
         < value >com.hadoop.compression.lzo.LzoCodec </ value >
<!--定义压缩格式和解码器类--> 
     </ property > 
</ configuration >



hdfs-site.XML
<? XML version ="1.0" ?> 
<? XML-stylesheet type ="text/xsl" href ="configuration.xsl" ?> 

<!-- Put site-specific property overrides in this file. --> 

< configuration > 
     < property > 
         < name >dfs.name.dir </ name > 
         < value >/opt/data/hadoop/hdfs/name,/opt/data/hadoop1/hdfs/name,/opt/data/hadoop2/hdfs/name </ value >
<!--定义hdfs namenode所使用的硬盘路径名称--> 
         < description >     </ description > 
     </ property > 
     < property > 
         < name >dfs.data.dir </ name > 
         < value >/opt/data/hadoop/hdfs/data /opt/data/hadoop1/hdfs/data,/opt/data/hadoop2/hdfs/data </ value >
<!--定义hdfs namenode数据存储的路径--> 
         < description > </ description > 
     </ property > 
     < property > 
         < name >dfs.http.address </ name > 
         < value >hadoopmaster-177.tj:50070 </ value >
<!--定义hdfs http管理端口--> 
     </ property > 
     < property > 
         < name >dfs.secondary.http.address </ name > 
         < value >hadoopslave-189.tj:50090 </ value >
<!--定义备用节点的管理地址--> 
     </ property > 
     < property > 
         < name >dfs.replication </ name > 
         < value >3 </ value >
<!--定义数据的复制份数,份数越多越安全,但速度越慢--> 
     </ property > 
     < property > 
         < name >dfs.datanode.du.reserved </ name > 
         < value >1073741824 </ value >
<!--定义du操作返回--> 
     </ property > 
     < property > 
         < name >dfs.block.size </ name > 
         < value >134217728 </ value >
<!--定义hdfs的存储块大小,默认64M,我用的128M--> 
     </ property > 
     < property > 
         < name >dfs.permissions </ name > 
         < value >false </ value >
<!--权限设置,最好不要--> 
     </ property > 
</ configuration >