日期:2011-08-05 21:23:00  来源:本站整理

<b>VirtualBox环境下基于多台Ubuntu虚拟机的Hadoop分布式计算环境搭</b>[服务器安全]

赞助商链接



  本文“<b>VirtualBox环境下基于多台Ubuntu虚拟机的Hadoop分布式计算环境搭</b>[服务器安全]”是由七道奇为您精心收集,来源于网络转载,文章版权归文章作者所有,本站不对其观点以及内容做任何评价,请读者自行判断,以下是其具体内容:

 作者:李磊 beginner_Lee

完成时间:2011-5-23 12:15
 
版本:v2.0
 
择要:本文介绍了在VirtualBox下安装3台Ubuntu虚拟机,并搭建Hadoop环境的基本步骤,最后运行了Hadoop自带example中的wordcount例程,可以作为初学者的入门教材.
 
环境:
 
主机:Ubuntu 11.04
 
VirtualBox版本:4.0.6 r71344
 
Ubuntu虚拟机版本:Ubuntu 11.04
 
Ubuntu虚拟机jdk版本:jdk-1.6.0_25
 
Ubuntu虚拟机hadoop版本:hadoop-0.20.2
 
关键词:Hadoop,wordcount,ssh
 
 
 
总体概述
要在单独的一台计算机上实现Hadoop多节点分布式计算,需求通过虚拟机成立多个主机,鉴于VirtualBox的大小只是VMware的非常之一,我挑选了前者.顺次完成新建虚拟机、安装ssh、配置密钥实现无密码拜候、安装jdk、安装hadoop并配置后,便可以运行wordcount来见识一下了不起的东西了!
 
具体步骤
 
安装虚拟机
首先要在vbox中成立Ubuntu系统,无论主机的操作系统windows还是linux都不要紧,我们之后举行的全部操作都只在虚拟机的ubuntu中举行.由于是在虚拟机中安装,就没有硬盘安装ubuntu那样麻烦了.上官网把ubuntu10.04LTS.iso下好,放在本地文件夹中,启动vbox,新建一个子os,选项都很简单,网卡设置为host-only,从之前下载的iso镜像启动.启动后的安装步骤在这里不再赘述,若有疑问请参照我之前的一篇文章.当第一个虚拟机建好后,不要利用一样的办法成立第二个ubuntu系统,vbox为我们供应了简便的复制办法,在Terminal中输入
sudo vboxmanage clonevdi [source.vdi] [destination.vdi];
便可以完好克隆一个os,之后new一个os,在挑选硬盘那边找到刚clone的destination.vdi作为硬盘便可.我们用这种办法成立3台虚拟机,辨别命名为UB01,UB02和UB03,它们的用户名必须一致,这里设置为vbox,为了简单,密码也统一设定为vbox.举行到这里,可以用ifconfig查看三台虚拟机的ip地址,正常的话它们的ip各不相同,且彼此之间可以ping通,到这里就完成了第一步.
 
安装配置ssh
仅仅能ping通还是不够的,为了完成份布式计算系统,需求三台机械彼此之间可以无密码拜候(大概是master可以无密码拜候2个slave).首先在三台虚拟机上安装ssh-openserver
sudo apt-get install ssh rsync
完成后,在个人目录/home/vbox/下新建.ssh文件夹,在.ssh中履行
ssh-keygen -t rsa
系统会问你一些配置,由于是初次实行,不需求这些内容,点回车持续下去便可.完成后会在.ssh/下生成id_rsa和id_isa.pub两个文件,三台机械做一样处理.忘了一件事,需求配置三台机械的别名,这样就不用通过ip互访了,翻开/etc/hosts,清空里面的内容,写入
127.0.0.1 localhost localhost.localdomain localhost
192.168.56.101 UB01 UB01.localdomain UB01
192.168.56.102 UB02
192.168.56.103 UB03
关于UB01按如上书写,关于UB02以下,UB03则可一并推出(这里的每一个ip地址都应当是ifconfig后看到的,因机而异)
127.0.0.1 localhost localhost.localdomain localhost
192.168.56.101 UB01
192.168.56.102 UB02 UB02.localdomain UB02
192.168.56.103 UB03
设置完别名,可以彼此ping一下看看能否见效,这里ping的对象就不是ip地址而是别名了.接下来把它们的密钥彼此交换,如在UB01中履行
scp ~/.ssh/id_isa.pub vbox@UB02:/home/vbox/.ssh/id_isa.pub.UB01
scp ~/.ssh/id_isa.pub vbox@UB03:/home/vbox/.ssh/id_isa.pub.UB01
这样做的目的是把UB01的密钥交给UB02和UB03,对UB02和UB03做一样处理,完成后每一个机械的/.ssh/中应当有3个密钥,一个是自己的,另两个是别人的,把自己的密钥连同别人的两个密钥加到受权密钥中(对UB01)
cat id_isa.pub >> authorized_keys;
cat id_isa.pub.UB02 >> authorized_keys;
cat id_isa.pub.UB03 >> authorized_keys;
对别的两台机械做一样处理.接下来查验彼此之间能否可以通过ssh实现无密码拜候,在终端输入(对UB01)
ssh UB02;
ssh UB03;
拜候成功会实际欢送信息,初次拜候需求yes,之后便可以不直接拜候了.
 
安装jdk
在Ubuntu系统中安装jdk的办法我只简述一下,有艰难者请谷歌之,网络上资源多多.首先下载对应版本的jdk,下载完成后把.bin包移动到个人目录/home/vbox/,履行
chmod u+x jdk-a.b.c.bin;
sudo -s ./jdk-a.b.c.bin;
等候安装完成,会在当前途径生成jdk目录,接下来设置环境变量,在/etc/profile/中增添JAVA_HOME、JRE_HOME、CLASSPATH和PATH的值,reboot后在Terminal输入java -version会看到版本信息,证明安装成功.
为了备忘,环境变量的配置还是写在下边吧
JAVA_HOME=/home/vbox/jdk1.6.0_25
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
expoet PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
 
安装hadoop
将下载到的hadoop-0.20.2.tar.gz移动到个人目录/home/vbox/,履行安装操作
tar -xzvf hadoop-0.20.2.tar.gz
会在当前途径生成hadoop文件夹,接着改正文件夹全部者
chown vbox:vbox hadoop-0.20.2
随后把hadoop的环境变量加入到/etc/profile中,增添以下内
  以上是“<b>VirtualBox环境下基于多台Ubuntu虚拟机的Hadoop分布式计算环境搭</b>[服务器安全]”的内容,如果你对以上该文章内容感兴趣,你可以看看七道奇为您推荐以下文章:
  • <b>hosts是什么 hosts文件在什么位置 若何改正hosts</b>
  • <b>在 Windows 8 中手动安装语言包</b>
  • <b>五个常见 PHP数据库问题</b>
  • Windows中Alt键的12个高效快速的利用本领介绍
  • <b>MySQL ORDER BY 的实现解析</b>
  • <b>详解MySQL存储历程参数有三种范例(in、out、inout)</b>
  • <b>Win8系统恢复出来经典的开始菜单的办法</b>
  • <b>Win8系统花屏怎么办 Win8系统花屏的办理办法</b>
  • <b>Windows 7系统下无线网卡安装</b>
  • <b>为什么 Linux不需求碎片整理</b>
  • <b>Windows 8中删除账户的几种办法(图)</b>
  • <b>教你如安在win7下配置路由器</b>
  • 本文地址: 与您的QQ/BBS好友分享!
    • 好的评价 如果您觉得此文章好,就请您
        0%(0)
    • 差的评价 如果您觉得此文章差,就请您
        0%(0)

    文章评论评论内容只代表网友观点,与本站立场无关!

       评论摘要(共 0 条,得分 0 分,平均 0 分) 查看完整评论
    Copyright © 2020-2022 www.xiamiku.com. All Rights Reserved .