此页面上的内容需要较新版本的 Adobe Flash Player。

获取 Adobe Flash Player

您现在的位置: 智可网 - 新技术 - Hadoop - 正文
Hadoop的内存配置
教程录入:李隆权    责任编辑:quan 作者:佚名 文章来源:linuxidc

Hadoop的内存配置有两种方法:利用手动安装hadoop的帮助脚本;手动计算yarn和mapreduce内存大小进行配置.此处只记录脚本计算方法:

用wget命令从hortonworks上下载脚本

Python hdp-configuration-utils.py <options>

wget  http://public-repo-1.hortonworks.com/HDP/tools/2.1.1.0/hdp_manual_install_rpm_helper_files-2.1.1.385.tar.gz

解压文件,运行hdp-configuration-utils.py脚本,执行以下命令

参数主要有以下几个:

Option
 Description
-c CORES
 The number of cores on each host.
-m MEMORY    
 The amount of memory on each host in GB.
-d DISKS
 Thenumber of disks on each host.
-k HBASE
"True"if HBase is installed, "False" if not.      

其中:Core的数量可以通过nproc命令计算;内存大小可以通过free –m命令来计算;磁盘的数量可以同过lsblk –s或sudo fdisk –l命令来查看。

Python hdp-configuration-utils.py  -c 24 -m 16 -d 8 -k False

计算好每个选项需要的值,运行命令。例如:

将返回如下结果:

 Using cores=24 memory=16GB disks=8 hbase=False
 Profile: cores=24 memory=14336MB reserved=2GB usableMem=14GB disks=8    
 Num Container=14
 Container Ram=1024MB
 Used Ram=14GB
 Unused Ram=2GB
 yarn.scheduler.minimum-allocation-mb=1024
 yarn.scheduler.maximum-allocation-mb=14336
 yarn.nodemanager.resource.memory-mb=14336
 mapreduce.map.memory.mb=1024
 mapreduce.map.Java.opts=-Xmx768m
 mapreduce.reduce.memory.mb=2048
 mapreduce.reduce.Java.opts=-Xmx1536m
 yarn.app.mapreduce.am.resource.mb=1024
 yarn.app.mapreduce.am.command-opts=-Xmx768m
 mapreduce.task.io.sort.mb=384
 tez.am.resource.memory.mb=2048
 tez.am.Java.opts=-Xmx1536m
 hive.tez.container.size=1024
 hive.tez.Java.opts=-Xmx768m
 hive.auto.convert.join.noconditionaltask.size=134217000

最后可以参考以上结果来配置mapred-site.xml和yarn-site.XML文件中参数的值。

分享
打赏我
打开支付宝"扫一扫" 打开微信"扫一扫"
客户端
"扫一扫"下载智可网App
意见反馈
Hadoop的内存配置
作者:佚名 来源:linuxidc

Hadoop的内存配置有两种方法:利用手动安装hadoop的帮助脚本;手动计算yarn和mapreduce内存大小进行配置.此处只记录脚本计算方法:

用wget命令从hortonworks上下载脚本

Python hdp-configuration-utils.py <options>

wget  http://public-repo-1.hortonworks.com/HDP/tools/2.1.1.0/hdp_manual_install_rpm_helper_files-2.1.1.385.tar.gz

解压文件,运行hdp-configuration-utils.py脚本,执行以下命令

参数主要有以下几个:

Option
 Description
-c CORES
 The number of cores on each host.
-m MEMORY    
 The amount of memory on each host in GB.
-d DISKS
 Thenumber of disks on each host.
-k HBASE
"True"if HBase is installed, "False" if not.      

其中:Core的数量可以通过nproc命令计算;内存大小可以通过free –m命令来计算;磁盘的数量可以同过lsblk –s或sudo fdisk –l命令来查看。

Python hdp-configuration-utils.py  -c 24 -m 16 -d 8 -k False

计算好每个选项需要的值,运行命令。例如:

将返回如下结果:

 Using cores=24 memory=16GB disks=8 hbase=False
 Profile: cores=24 memory=14336MB reserved=2GB usableMem=14GB disks=8    
 Num Container=14
 Container Ram=1024MB
 Used Ram=14GB
 Unused Ram=2GB
 yarn.scheduler.minimum-allocation-mb=1024
 yarn.scheduler.maximum-allocation-mb=14336
 yarn.nodemanager.resource.memory-mb=14336
 mapreduce.map.memory.mb=1024
 mapreduce.map.Java.opts=-Xmx768m
 mapreduce.reduce.memory.mb=2048
 mapreduce.reduce.Java.opts=-Xmx1536m
 yarn.app.mapreduce.am.resource.mb=1024
 yarn.app.mapreduce.am.command-opts=-Xmx768m
 mapreduce.task.io.sort.mb=384
 tez.am.resource.memory.mb=2048
 tez.am.Java.opts=-Xmx1536m
 hive.tez.container.size=1024
 hive.tez.Java.opts=-Xmx768m
 hive.auto.convert.join.noconditionaltask.size=134217000

最后可以参考以上结果来配置mapred-site.xml和yarn-site.XML文件中参数的值。