此页面上的内容需要较新版本的 Adobe Flash Player。

获取 Adobe Flash Player

您现在的位置: 智可网 - 新技术 - Hadoop - 正文
Hadoop-2.3.0-cdh5.1.0伪分布安装(基于CentOS)(1)
教程录入:李隆权    责任编辑:quan 作者:佚名 文章来源:linuxidc

开始安装:

二、jdk安装

1、检查是否自带jdk

rpm -qa | grep jdk

Java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686

2、卸载自带jdk

yum -y remove Java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686

3、安装jdk-7u55-Linux-x64.tar.gz

在usr/目录下创建文件夹java,在Java文件夹下运行tar –zxvf jdk-7u55-Linux-x64.tar.gz

解压到Java目录下

[root@master01 Java]# ls

jdk1.7.0_55

--------------------------------------------------------------------------------

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

Hadoop2.4.1尝鲜部署+完整版配置文件 http://www.linuxidc.com/Linux/2014-09/106291.htm

--------------------------------------------------------------------------------

三、配置环境变量

运行vim  /etc/profile

# /etc/profile

# System wide environment and startup programs, for login setup

# Functions and aliases go in /etc/bashrc

export JAVA_HOME=/usr/Java/jdk1.7.0_55
export JRE_HOME=/usr/Java/jdk1.7.0_55/jre
export CLASSPATH=/usr/Java/jdk1.7.0_55/lib
export PATH=$Java_HOME/bin: $PATH

保存修改,运行source /etc/profile 重新加载环境变量

运行Java -version

[root@master01 java]# Java -version

Java version "1.7.0_55"

Java(TM) SE Runtime Environment (build 1.7.0_55-b13)

Java HotSpot(TM) 64-Bit Server VM (build 24.55-b03, mixed mode)

Jdk配置成功

四、系统配置

1关闭防火墙

chkconfig iptables off(永久性关闭)

配置主机名和hosts文件

2、SSH无密码验证配置

因为Hadoop运行过程需要远程管理Hadoop的守护进程,NameNode节点需要通过SSH(Secure Shell)链接各个DataNode节点,停止或启动他们的进程,所以SSH必须是没有密码的,所以我们要把NameNode节点和DataNode节点配制成无秘密通信,同理DataNode也需要配置无密码链接NameNode节点。

在每一台机器上配置:

vi /etc/ssh/sshd_config打开

RSAAuthentication yes # 启用 RSA 认证,PubkeyAuthentication yes # 启用公钥私钥配对认证方式

Master01:运行:ssh-keygen –t rsa –P ''  不输入密码直接enter

默认存放在 /root/.ssh目录下,

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[root@master01 .ssh]# ls

authorized_keys  id_rsa  id_rsa.pub  known_hosts

分享
打赏我
打开支付宝"扫一扫" 打开微信"扫一扫"
客户端
"扫一扫"下载智可网App
意见反馈
Hadoop-2.3.0-cdh5.1.0伪分布安装(基于CentOS)(1)
作者:佚名 来源:linuxidc

开始安装:

二、jdk安装

1、检查是否自带jdk

rpm -qa | grep jdk

Java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686

2、卸载自带jdk

yum -y remove Java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686

3、安装jdk-7u55-Linux-x64.tar.gz

在usr/目录下创建文件夹java,在Java文件夹下运行tar –zxvf jdk-7u55-Linux-x64.tar.gz

解压到Java目录下

[root@master01 Java]# ls

jdk1.7.0_55

--------------------------------------------------------------------------------

Ubuntu 13.04上搭建Hadoop环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式) http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu下Hadoop环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建Hadoop环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建) http://www.linuxidc.com/Linux/2011-12/48894.htm

Hadoop2.4.1尝鲜部署+完整版配置文件 http://www.linuxidc.com/Linux/2014-09/106291.htm

--------------------------------------------------------------------------------

三、配置环境变量

运行vim  /etc/profile

# /etc/profile

# System wide environment and startup programs, for login setup

# Functions and aliases go in /etc/bashrc

export JAVA_HOME=/usr/Java/jdk1.7.0_55
export JRE_HOME=/usr/Java/jdk1.7.0_55/jre
export CLASSPATH=/usr/Java/jdk1.7.0_55/lib
export PATH=$Java_HOME/bin: $PATH

保存修改,运行source /etc/profile 重新加载环境变量

运行Java -version

[root@master01 java]# Java -version

Java version "1.7.0_55"

Java(TM) SE Runtime Environment (build 1.7.0_55-b13)

Java HotSpot(TM) 64-Bit Server VM (build 24.55-b03, mixed mode)

Jdk配置成功

四、系统配置

1关闭防火墙

chkconfig iptables off(永久性关闭)

配置主机名和hosts文件

2、SSH无密码验证配置

因为Hadoop运行过程需要远程管理Hadoop的守护进程,NameNode节点需要通过SSH(Secure Shell)链接各个DataNode节点,停止或启动他们的进程,所以SSH必须是没有密码的,所以我们要把NameNode节点和DataNode节点配制成无秘密通信,同理DataNode也需要配置无密码链接NameNode节点。

在每一台机器上配置:

vi /etc/ssh/sshd_config打开

RSAAuthentication yes # 启用 RSA 认证,PubkeyAuthentication yes # 启用公钥私钥配对认证方式

Master01:运行:ssh-keygen –t rsa –P ''  不输入密码直接enter

默认存放在 /root/.ssh目录下,

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[root@master01 .ssh]# ls

authorized_keys  id_rsa  id_rsa.pub  known_hosts