博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop参数调优(core-site.xml)
阅读量:6158 次
发布时间:2019-06-21

本文共 1769 字,大约阅读时间需要 5 分钟。

hot3.png

property default description
fs.default.name  file:/// 设置Hadoop  namenode的hostname及port,预设是Standalone mode,如果是伪分布式文件系统要设置成     hdfs://localhost:9000,如果使用集群模式则配置为 hdfs://hostname:9000
hadoop.tmp.dir /tmp/hadoop-${user.name} 会在tmp下根据username生成不同的目录
fs.checkpoint.dir ${hadoop.tmp.dir}/dfs/namesecondary Sencondary NameNode 镜像存储目录
fs.checkpoint.period 3600(s) 控制 secondary namenode 的 checkpoint 时间间隔。如果距离上次 checkpoint 的时间大于这个参数的设定,就会触发 checkpoint。secondary namenode 会把 namenode 的 fsimage 和 editlog 做 snapshot。如果存取 Hadoop 的次数频繁或为了减少重起 namenode 的 downtime,可以把这个值设小一点。
fs.checkpoint.size 67108864(byte) 如果 Hadoop 非常的忙碌,editlog 可能会在短时间内变的很大,fs.checkpoint.period 的设定不见得可以完全预测这个状况,所以保险的做法会多设定这个值,以保证当数据大到超过 fs.checkpoint.size 的值也会触发 checkpoint。
io.file.buffer.size 4096 这是读写 sequence file 的 buffer size, 可减少 I/O 次数。在大型的 Hadoop cluster,建议可设定为 65536 到 131072。
ipc.client.connection.maxidletime 10000(ms) 设定 Hadoop client 连接时最大的闲置,默认是是 10 秒。如果 Hadoop cluster 的网络联系不稳,可以把这个值设到 60000(60秒)
ipc.server.tcpnodelay FALSE 在 Hadoop server 是否启动 Nagle’s 算法。设 true 会 disable 这个算法,关掉会减少延迟,但是会增加小数据包的传输。server site 不太需要这定这个值。
hadoop.security.authorization FALSE 是不是要开启 账号验证机制,开启之后 Hadoop 在执行任何动作之前都会先确认是否有权限。详细的权限设定会放在 hadoop-policy.xml 里。例如要让 fenriswolf 这个 account 及 mapreduce group 可以 submit M/R jobs,要设定security.job.submission.protocol.acl
hadoop.security.authentication simple simple 表示没有 authentication,Hadoop 会用 system account 及 group 来控管q权限。另外可以指定为kerberos,这部分相对比较复杂,要有一个 kerberos server 并产生 account keytab,在执行任何操作前 client 要先用 kinit 指令对 kerberos server 认证,之后的任何操作都是以 kerberos account 来执行。
fs.trash.interval 0 清掉垃圾桶的时间。预设是不清, 所以在删除文件时要自己执行
hadoop.native.lib TRUE 默认 Hadoop 会去找所有可用的 native libraries 并自动 load 进来使用,例如压缩类的 libraries 像 GZIP, LZO 等等。

转载于:https://my.oschina.net/figoisxjs/blog/129895

你可能感兴趣的文章
for循环诡异情况
查看>>
CloudCC CRM探讨如何建立完善的服务体系
查看>>
EasyStack一天连中五单,OpenStack新拐点显现
查看>>
它是最神秘的黑客组织:来自战斗民族 专黑美国
查看>>
推荐系统-基于矩阵分解的LFM模型
查看>>
Raider对F#支持的技术细节
查看>>
在Win2003、Win7、XP中配置IIS搭建ASP.NET Web网站或应用程序(1)
查看>>
微软反垄断案新突破 Win10系统或需剥离可信计算
查看>>
拥抱开放式网络 通往下一代数据中心
查看>>
一站式金融云托管服务 都匀融通村镇银行系统成功上线运行
查看>>
红外摄像机的功率究竟有多大
查看>>
春风十里不如春城一聚:华平解决方案巡展走进昆明
查看>>
华为NFV实验室一周年:打造开放合作生态链 加速NFV产业化
查看>>
别看360完成私有化 仍有三因素阻碍中概股回归
查看>>
打开光伏广阔市场的钥匙何在?
查看>>
"爱说说"技术原理:前后台参数约定及逻辑代码(三)
查看>>
选型OpenStack,需要谨防“舍本逐末”
查看>>
程序员需要关注的十个大数据技术
查看>>
2016年成熟亚太地区公共云服务市场规模将达到81亿美元
查看>>
人工智能大幕开启 安防行业已成先头部队
查看>>