此页面上的内容需要较新版本的 Adobe Flash Player。

获取 Adobe Flash Player

您现在的位置: 智可网 - 新技术 - Hadoop - 正文
Hadoop Hive与Hbase整合
教程录入:李隆权    责任编辑:quan 作者:佚名 文章来源:656463

一 、简介

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类, 大致意思如图所示:



二、安装步骤:

1 .Hadoop和Hbase都已经成功安装了

Hadoop集群配置:http://www.linuxidc.com/Linux/2012-02/53632.htm

Hbase安装配置:http://www.linuxidc.com/Linux/2012-02/54225.htm

2 . 拷贝hbase-0.90.4.jar和zookeeper-3.3.2.jar到hive/lib下。

注意:如何hive/lib下已经存在这两个文件的其他版本(例如zookeeper-3.3.2.jar),建议删除后使用hbase下的相关版本。

2. 修改hive/conf下hive-site.XML文件,在底部添加如下内容:

[Html]
  1. <!--    
  2. <property>    
  3.   <name>hive.exec.scratchdir</name>     
  4.   <value>/usr/local/hive/tmp</value>     
  5.   
  6. </property>     
  7. -->    
  8.     
  9. <property>     
  10.   <name>hive.querylog.location</name>     
  11.   <value>/usr/local/hive/logs</value>     
  12. </property>     
  13.     
  14. <property>    
  15.   <name>hive.aux.jars.path</name>     
  16.   <value>file:///usr/local/hive/lib/hive-hbase-handler-0.8.0.jar,file:///usr/local/hive/lib/hbase-0.90.4.jar,file:///usr/local/hive/lib/zookeeper-3.3.2.jar</value>    
  17.   
  18. </property>    

注意:如果hive-site.xml不存在则自行创建,或者把hive-default.XML.template文件改名后使用。

3. 拷贝hbase-0.90.4.jar到所有hadoop节点(包括master)的hadoop/lib下。

4. 拷贝hbase/conf下的hbase-site.XML文件到所有hadoop节点(包括master)的hadoop/conf下。

注意,如果3,4两步跳过的话,运行hive时很可能出现如下错误:

[Html]
  1. [Html] vIEw plaincopy  
  2. org.apache.hadoop.hbase.ZooKeeperConnectionException: HBase is able to connect to ZooKeeper but the connection closes immediately.     
  3. This could be a sign that the server has too many connections (30 is the default). Consider inspecting your ZK server logs for that error and     
  4. then make sure you are reusing HBaseConfiguration as often as you can. See HTable's Javadoc for more information. at org.apache.hadoop.    
  5. hbase.zookeeper.ZooKeeperWatcher.   
分享
打赏我
打开支付宝"扫一扫" 打开微信"扫一扫"
客户端
"扫一扫"下载智可网App
意见反馈
Hadoop Hive与Hbase整合
作者:佚名 来源:656463

一 、简介

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类, 大致意思如图所示:



二、安装步骤:

1 .Hadoop和Hbase都已经成功安装了

Hadoop集群配置:http://www.linuxidc.com/Linux/2012-02/53632.htm

Hbase安装配置:http://www.linuxidc.com/Linux/2012-02/54225.htm

2 . 拷贝hbase-0.90.4.jar和zookeeper-3.3.2.jar到hive/lib下。

注意:如何hive/lib下已经存在这两个文件的其他版本(例如zookeeper-3.3.2.jar),建议删除后使用hbase下的相关版本。

2. 修改hive/conf下hive-site.XML文件,在底部添加如下内容:

[Html]
  1. <!--    
  2. <property>    
  3.   <name>hive.exec.scratchdir</name>     
  4.   <value>/usr/local/hive/tmp</value>     
  5.   
  6. </property>     
  7. -->    
  8.     
  9. <property>     
  10.   <name>hive.querylog.location</name>     
  11.   <value>/usr/local/hive/logs</value>     
  12. </property>     
  13.     
  14. <property>    
  15.   <name>hive.aux.jars.path</name>     
  16.   <value>file:///usr/local/hive/lib/hive-hbase-handler-0.8.0.jar,file:///usr/local/hive/lib/hbase-0.90.4.jar,file:///usr/local/hive/lib/zookeeper-3.3.2.jar</value>    
  17.   
  18. </property>    

注意:如果hive-site.xml不存在则自行创建,或者把hive-default.XML.template文件改名后使用。

3. 拷贝hbase-0.90.4.jar到所有hadoop节点(包括master)的hadoop/lib下。

4. 拷贝hbase/conf下的hbase-site.XML文件到所有hadoop节点(包括master)的hadoop/conf下。

注意,如果3,4两步跳过的话,运行hive时很可能出现如下错误:

[Html]
  1. [Html] vIEw plaincopy  
  2. org.apache.hadoop.hbase.ZooKeeperConnectionException: HBase is able to connect to ZooKeeper but the connection closes immediately.     
  3. This could be a sign that the server has too many connections (30 is the default). Consider inspecting your ZK server logs for that error and     
  4. then make sure you are reusing HBaseConfiguration as often as you can. See HTable's Javadoc for more information. at org.apache.hadoop.    
  5. hbase.zookeeper.ZooKeeperWatcher.