博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop集群的规划和搭建
阅读量:6248 次
发布时间:2019-06-22

本文共 999 字,大约阅读时间需要 3 分钟。

1.操作系统版本:CentOS 6

    CM版本:CM5.x

    CDH版本:CDH5.x

2.安装操作系统,对系统盘做 RAID1;

配置静态IP、hostname信息:vim /etc/sysconfig/network-scripts/ifcfg-eth0

 并配置所有节点的静态DNS解析: vim /etc/hosts

若启用集群的Kerberos认证功能,则一定要配置集群的DNS域名,可以是假域名:vim /etc/sysconfig/network,  /etc/hosts处主机名也要加带域名的主机名,如:     192.168.0.3  sb-node1.example.com    sb-node1

如果机器配置有双网卡,可以做双网卡绑定

关闭并禁用iptables:

   service iptables stop

   chkconfig iptables off 

关闭SELinux       

echo "SELINUX=disabled" > /etc/sysconfig/selinux

重启网络服务  /etc/init.d/network restart

启用nscd(DNS缓存)

yum install -y nscd

service nscd start

chkconfig nscd on

修改transparent_hugepage参数,这个参数默认值可能会导致CDH性能下降

#在/etc/rc.local中增加一行     echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

若kernel版本在.6.32-303之前的版本,关闭内存页面交换,因为某些情况下会导致CDH性能下降

vim /etc/sysctl.conf    增加一行 vm.swappiness=0

sudo sysctl vm.swappiness=0

在要作为repo库的节点上安装毕业软件,含http服务和repo创建工具

yum install createrepo

yum install httpd

service httpd start

chkconfig httpd on

磁盘划分....

角色划分.....

**详细见CDH集群的企业部署

转载于:https://www.cnblogs.com/if-happy/p/10645720.html

你可能感兴趣的文章
《高性能Linux服务器构建实战》——1.6节Nginx性能优化技巧
查看>>
杨永智:我有一些区块链应用的经验可以传授 | 硬创公开课
查看>>
中国人民大学助力政府大数据预警预测平台
查看>>
直接法硅片助力光伏平价上网
查看>>
纵览各国关键信息基础设施配套网络安全法规建设
查看>>
阿里云增速连超亚马逊 云计算三巨头格局将成
查看>>
“想哭”来袭 信息安全产业会“笑”吗
查看>>
“互联网+大数据”成为审讯突破口
查看>>
联发科4G方案渐趋成熟 2016市场或将迎来大反转
查看>>
商场没有永久的敌人 英特尔拟为ARM生产芯片
查看>>
大数据时代:九个大数据应用领域
查看>>
再度入场 重资产探路 公交WiFi卷土重来
查看>>
首次曝光!在线视频衣物精确检索技术,开启刷剧败明星同款时代
查看>>
实战篇-六十六行完成简洁的Rss输出类
查看>>
世界各地GSM和LTE移动网络存在严重安全漏洞
查看>>
资源编排最佳实践之入门篇:云服务器如何从1到N?
查看>>
Grumpy:Google 用 Go 开发的 Python 运行时
查看>>
欧盟取消4家中国企业在晶体硅光伏组件及关键零部件双反案中的价格承诺
查看>>
采购杀毒软件 确保网络信息安全
查看>>
破局物联网时代,海尔靠这三步棋
查看>>