Hadoop2.3.0 64bit小集群搭建


YARN的最新版修正了之前的不少bug,但是要搭建64位的平台环境,还是需要从source文件编译,经过一番实践学到些经验,大致给个提纲总结,详细搭建步骤可以网上搜索或咨询作者。

编译还是不编译Hadoop取决于应用的平台和环境,Hadoop只提供了32bit的包和source文件,如果在64bit环境下就得自己编译(当然也可以下载非官方已经编译好的tar包)。编译环境,需要的工具有Java, maven, ant, protocol buffers, findbugs,当然执行编译需要cmake,gcc等等传统编译支持。安装这些,以及配置相应环境需要些细心和调试,冗繁但并不难。编译好的64位hadoop2.3.0大概在一百多M,有了这我们就可以开始准备安装YARN平台。

首先要明确的是,我们有一台master机器,和n台slave机器,分布式系统的模式,一台主控多台分工,那么在master和slave上都分别要安装好我们编译的64位hadoop2.3.0,很琐碎但也很重要的一点是每台机器都要安装并配置好Java环境。更为重要的是,配置好hadoop的环境,这里面包括两点,一个是hadoop的环境变量,一个是hadoop的文件目录。目录是要建立好大数据的存放地。环境变量有两方面,一是系统环境里的path等等,一是hadoop本身的配置文件core-site.html、yarn等几个文件。

配置好这些后,在mater上开启namenode, resource manager, proxyserver, historyserver,在slaves上开启datanode, nodemanager,然后就是安装各种各样所需的数据处理工具了,如pig, mahout等等。

提纲携领的简介,具体的操作步骤需要多尝试,不断锻炼升级:)网上有不少文章,但有些有坑大家要多加留意,hadoop更新还是蛮快的,用0.20的方法装2.3是肯定不行的,即便很多2.3的文章,里面也是忘记了修改过去的操作步骤。

优质内容筛选与推荐>>
1、Django WebEditor(CKeditor)
2、Linux安装mysql——源码安装
3、element ui 中的 resetFields() 报错'resetFields' of undefined
4、利用UltraEdit快速将SQL语句转换为符合VB.NET语法格式字符串
5、Docker入门四存储管理


长按二维码向我转账

受苹果公司新规定影响,微信 iOS 版的赞赏功能被关闭,可通过二维码转账支持公众号。

    阅读
    好看
    已推荐到看一看
    你的朋友可以在“发现”-“看一看”看到你认为好看的文章。
    已取消,“好看”想法已同步删除
    已推荐到看一看 和朋友分享想法
    最多200字,当前共 发送

    已发送

    朋友将在看一看看到

    确定
    分享你的想法...
    取消

    分享想法到看一看

    确定
    最多200字,当前共

    发送中

    网络异常,请稍后重试

    微信扫一扫
    关注该公众号