linux系统安装hadoop-2.0.0-alpha(双namenode federation)安装过程整理

admin

一，安装环境与配置前准备工作
硬件：4个虚拟机分别为master1:192.168.110.20,master2:192.168.110.21,slave1:192.168.110.22,slave2:192.168.110.23
系统：红帽 CentOS6.5
HADOOP版本：最新版本hadoop-2.0.0-alpha  安装包为hadoop-2.0.0-alpha.tar.gz
# U" s  @/ A6 d9 C2 Z下载官网地址:http://apache.etoak.com/hadoop/common/hadoop-2.0.0-alpha/
JDK版本:jdk-6u6-linux-i586.bin(最低要求为JDK 1.6)
虚拟机的安装和LINUX的安装不介绍，GOOGLE一大堆
创建相关目录:mkdir /usr/hadoop(hadoop安装目录)mkdir /usr/java(JDK安装目录)二，安装JDK(所有节点都一样)
1 N/ j% Y# X6 v2 h) r: z# [& i. e1，将下载好的jdk-6u6-linux-i586.bin通过SSH上传到/usr/java下
  d6 R3 B8 k2 t9 C9 P2，进入JDK安装目录cd /usr/java 并且执行chmod +x jdk-6u6-linux-i586.bin
3，执行./jdk-6u6-linux-i586.bin(一路回车，遇到yes/no全部yes，最后会done，安装成功)
4，配置环境变量，执行cd /etc命令后执行vi profile，在行末尾添加
- J- Y4 l; R- F4 N8 rexport JAVA_HOME=/usr/java/jdk1.6.0_27
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH5，执行chmod +x profile将其变成可执行文件
6，执行source profile使其配置立即生效
1 N$ c% g) k% b' U' Z3 h+ [( Y7，执行java -version查看是否安装成功三，修改主机名，所有节点均一样配置
1，连接到主节点192.168.110.20，修改network，执行cd /etc/sysconfig命令后执行vi network，修改HOSTNAME=master1
/ s0 b0 Q3 b7 c2，修改hosts文件，执行cd /etc命令后执行vi hosts，在行末尾添加:
192.168.110.20   master1
192.168.110.21   master2
$ n1 P& Z! I0 I  W192.168.110.22   slave1
192.168.110.23   slave2
* P# Q* f- z# {' k3，执行hostname master1
& N+ ?3 |; P: C" R7 i- z4，执行exit后重新连接可看到主机名以修改OK四，配置SSH无密码登陆
1，SSH无密码原理简介:首先在master上生成一个密钥对，包括一个公钥和一个私钥，并将公钥复制到所有的slave上。
然后当master通过SSH连接slave时，slave就会生成一个随机数并用master的公钥对随机数进行加密，并发送给master。
最后master收到加密数之后再用私钥解密，并将解密数回传给slave，slave确认解密数无误之后就允许master不输入密码进行连接了
2，具体步骤：
1、执行命令ssh-keygen -t rsa之后一路回车，查看刚生成的无密码钥对：cd .ssh 后执行ll
' k$ I7 M: m1 L9 O) B7 W2、把id_rsa.pub追加到授权的key里面去。执行命令cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
3、修改权限：执行chmod 600 ~/.ssh/authorized_keys
4、确保cat /etc/ssh/sshd_config 中存在如下内容
8 p1 m. g9 ^/ wRSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile      .ssh/authorized_keys
如需修改，则在修改后执行重启SSH服务命令使其生效:service sshd restart
5、将公钥复制到所有的slave机器上:scp ~/.ssh/id_rsa.pub 192.168.110.22：~/    然后输入yes，最后输入slave机器的密码
# Z8 d5 F, L  P! \& ]7 Z6、在slave机器上创建.ssh文件夹:mkdir ~/.ssh 然后执行chmod 700 ~/.ssh（若文件夹以存在则不需要创建）
7、追加到授权文件authorized_keys执行命令:cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 然后执行chmod 600 ~/.ssh/authorized_keys
7 B) Q2 P# O& Y8 \' L4 Y: h7 k& L6 c8、重复第4步
% E& n8 ^- o, `2 U6 X1 Z; c9、验证命令:在master机器上执行 ssh 192.168.110.22发现主机名由master1变成slave1即成功，最后删除id_rsa.pub文件:rm -r id_rsa.pub
) s0 i- P( h. X# w+ r' S3,按照以上步骤分别配置master1,master2,slave1,slave2，要求每个master与每个slave之间都可以无密码登录五，安装HADOOP,所有节点都一样
1，将hadoop-2.0.0-alpha.tar.gz上传到HADOOP的安装目录/usr/hadoop中
2，解压安装包：tar -zxvf hadoop-2.0.0-alpha.tar.gz
; p1 T& A+ ^# H+ l+ G3，创建tmp文件夹：mkdir /usr/hadoop/tmp
& b3 {5 n8 z9 \3 n: O4，配置环境变量：vi /etc/profile
export HADOOP_DEV_HOME=/usr/hadoop/hadoop-2.0.0-alpha
export PATH=$PATH:$HADOOP_DEV_HOME/bin
export PATH=$PATH:$HADOOP_DEV_HOME/sbin
export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
, W1 ?0 W% {6 S; ]% v. Dexport HDFS_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
0 \2 v9 ]% F4 o  T' `- Q2 Eexport YARN_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
5，配置HADOOP
配置文件位于/usr/hadoop/hadoop-2.0.0-alpha/etc/hadoop下
1、创建并配置hadoop-env.sh
vi /usr/hadoop/hadoop-2.0.0-alpha/etc/hadoop/hadoop-env.sh 在末尾添加export JAVA_HOME=/usr/java/jdk1.6.0_27
% a  S! e& _7 h) u2、配置core-site.xml文件
. z- d8 D1 j. M<property>
) k( s  m# P4 \8 T0 W2 t   <name>hadoop.tmp.dir</name>
; R8 U) ^  Y7 P) t( l) H' w   <value>/usr/hadoop/tmp</value>
: Z2 j- ^0 Q% s* f6 g$ z; }5 U3 R</property>
3、创建并配置slaves：vi slaves 并添加以下内容
192.168.110.22
192.168.110.23
4、配置hdfs-site.xml
) I% {5 d$ x. Y<configuration>
<property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/hadoop/hdfs/name</value>
% O6 U3 z0 Q) t5 T* p   <final>true</final>
</property><property>
   <name>dfs.federation.nameservice.id</name>
   <value>ns1</value>
$ h# S8 K8 O, I& F6 M</property><property>
8 ]2 J/ c5 |2 w/ l5 B   <name>dfs.namenode.backup.address.ns1</name>
3 n2 X1 D% \# |! L5 M   <value>192.168.110.23:50100</value>
</property><property>
2 ]0 x9 E/ O" Z3 i% L3 q8 V: k   <name>dfs.namenode.backup.http-address.ns1</name>
   <value>192.168.110.23:50105</value>
</property><property>
$ {" U* h2 o4 |8 m$ s   <name>dfs.federation.nameservices</name>
8 p6 m, @. z, T4 |7 n( W6 [   <value>ns1,ns2</value>
/ e& K$ P) C# [9 M) u</property><property>
   <name>dfs.namenode.rpc-address.ns1</name>
   <value>192.168.110.20:9000</value>
</property><property>
2 n0 y& S. J( ^. F/ D, [   <name>dfs.namenode.rpc-address.ns2</name>
   <value>192.168.110.21:9000</value>
</property><property>
   <name>dfs.namenode.http-address.ns1</name>
% ~% Z# r" O9 g   <value>192.168.110.20:23001</value>
* \& }# f: W" U  i7 J' V4 D</property><property>
   <name>dfs.namenode.http-address.ns2</name>
   <value>192.168.110.21:13001</value>
1 `4 i! x6 L: Z</property><property>
& m2 h: ~, Y) D7 H7 n2 z$ s3 Y   <name>dfs.dataname.data.dir</name>
   <value>file:/usr/hadoop/hdfs/data</value>
% O9 C" i& n8 a3 o   <final>true</final>
; V! Y- D5 k7 W8 \  q4 g</property><property>
   <name>dfs.namenode.secondary.http-address.ns1</name>
   <value>192.168.110.20:23002</value>
' N# E+ Z- a6 Z" b0 W: E</property><property>
   <name>dfs.namenode.secondary.http-address.ns2</name>
   <value>192.168.110.21:23002</value>
3 B* A1 M6 v8 [- ~  t" c</property><property>
/ U0 N) d3 `$ j- A4 t   <name>dfs.namenode.secondary.http-address.ns1</name>
   <value>192.168.110.20:23003</value>
1 L* @  A- U/ \+ }+ b</property><property>
   <name>dfs.namenode.secondary.http-address.ns2</name>
   <value>192.168.110.21:23003</value>
3 X' O( q5 ?: k+ J</property></configuration>5、配置yarn-site.xml
<configuration><!-- Site specific YARN configuration properties -->
1 a  ~% }5 T3 X9 g<property>
3 s" M0 w- u5 ^   <name>yarn.resourcemanager.address</name>
   <value>192.168.110.20:18040</value>
</property><property>
   <name>yarn.resourcemanager.scheduler.address</name>
- V1 o& r1 @6 ]   <value>192.168.110.20:18030</value>
</property><property>
; r6 b1 s1 o4 ]* @/ p/ n; s   <name>yarn.resourcemanager.webapp.address</name>
! f2 g" D) u, _   <value>192.168.110.20:18088</value>
8 g( B, S$ G6 Y6 a- |7 j! d8 t</property><property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>192.168.110.20:18025</value>
4 E5 B( L& V% q</property><property>
  q9 Z" g& `4 `; p   <name>yarn.resourcemanager.admin.address</name>
   <value>192.168.110.20:18141</value>
</property><property>
   <name>yarn.nodemanager.aux-services</name>
! T) M3 i. x# p* Y- e- c% x   <value>mapreduce.shuffle</value>
" {: ?* a! [5 I3 |1 p</property>
7 ^# [: V6 J: u: f0 H, ]  b</configuration>六，启动HADOOP集群，并测试WORDCOUNT
1，格式化 namenode:分别在两个master上执行：hadoop namenode -format -clusterid eric
& W8 r/ V; m: L! D  K0 u" u7 Y2，启动HADOOP：在master1执行start-all.sh或先执行start-dfs.sh再执行start-yarn.sh
2 }+ s7 Z3 o/ y3 T, q" c6 Q3，分别在各个节点上执行jps命令，显示结果如下即成功启动：
[root@master1 hadoop]# jps
1956 Bootstrap
4183 Jps
5 [; L$ ^+ U! V" A( Q9 j+ L3938 ResourceManager
3845 SecondaryNameNode
3 ~- u  \  E# a/ ]; S0 d2 w3652 NameNode
[root@master2 ~]# jps
" ~& a, |% G3 w* T* q" K2 b3778 Jps
1981 Bootstrap
5 }: n9 u3 p# f& f; m/ C3736 SecondaryNameNode
3633 NameNode
[root@slave1 ~]# jps
; X2 q1 Q% \' }% K3766 Jps
$ s! L  W+ d7 j! }3675 NodeManager
- g' g7 A3 Q2 g3551 DataNode
3 P0 X0 g; W& m' e1 }3 z& u# R[root@slave1 ~]# jps
& o9 w  D3 b0 K3675 NodeManager
3775 Jps
# F" o5 K8 t0 l, j  K$ v3551 DataNode
4，在master1上，创建输入目录:hadoop fs -mkdir hdfs://192.168.110.20:9000/input
% N) S: Q5 d$ q0 y3 f/ A% D5，将/usr/hadoop/hadoop-2.0.0-alpha/目录下的所有txt文件复制到hdfs分布式文件系统的目录里，执行以下命令
hadoop fs -put /usr/hadoop/hadoop-2.0.0-alpha/*.txt hdfs://192.168.110.20:9000/input
6 X8 ]+ A9 j' I2 x! j: J- u. o, H6，在master1上，执行HADOOP自带的例子，wordcount包，命令如下：
cd /usr/hadoop/hadoop-2.0.0-alpha/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.0.0-alpha.jar wordcount hdfs://192.168.110.20:9000/input hdfs://192.168.110.20:9000/output
  d5 Q' R+ M9 x- y3 t$ j( d9 l7，在master1上，查看结果命令如下:
% [+ H" X9 M; Q/ H& ]+ @* V, c8 }[root@master1 hadoop]# hadoop fs -ls hdfs://192.168.110.20:9000/output
7 K, K2 W9 x5 J( ^Found 2 items
$ x! J3 ?6 |  ~* M/ A1 r* t-rw-r--r--   2 root supergroup          0 2012-06-29 22:59 hdfs://192.168.110.20:9000/output/_SUCCESS
-rw-r--r--   2 root supergroup       8739 2012-06-29 22:59 hdfs://192.168.110.20:9000/output/part-r-00000
[root@master1 hadoop]# hadoop fs -ls hdfs://192.168.110.20:9000/input
Found 3 items
-rw-r--r--   2 root supergroup      15164 2012-06-29 22:55 hdfs://192.168.110.20:9000/input/LICENSE.txt
-rw-r--r--   2 root supergroup        101 2012-06-29 22:55 hdfs://192.168.110.20:9000/input/NOTICE.txt
-rw-r--r--   2 root supergroup       1366 2012-06-29 22:55 hdfs://192.168.110.20:9000/input/README.txt
/ r  y6 w" T' f  e1 @[root@master1 hadoop]# hadoop fs -cat  hdfs://192.168.110.20:9000/output/part-r-00000即可看到每个单词的数量
8，可以通过IE访问：http://192.168.110.20:23001/dfshealth.jsp
4 _2 p* p+ A9 h' C- w" L" a到此整个过程就结束了………